ViBench 2.0:如何评测能持续构建软件的 AI Agent
ViBench 2.0 聚焦 AI Agent 的长期软件构建评测。本文拆解连续需求、上下文保持与整体交付的评测思路,给出任务设计方法、结果分析框架和团队落地清单;具体指标与结果以原文为准。
文章目录
原文:ViBench 2.0: A Benchmark for Long-Horizon Software Building
ViBench 2.0 是 arXiv cs.AI 上面向长周期软件构建的评测基准。它值得关注,是因为 AI 编程正在从生成一个函数,补全一段代码,走向由 Agent 接收连续功能请求并构建整个产品。摘要给出的场景很明确:在 Replit 这一 agentic engineering platform 上,用户可以通过一连串功能请求让 Agent 构建产品,而无需亲手编写代码。摘要随后也引出了对现有 coding benchmark 的反思:当产品需要随着需求不断演进,单纯考察一次代码生成已经难以覆盖真实交付中的上下文保持、功能集成与回归风险。
真正可以带走的不是某个未经摘要确认的分数,而是三套实用框架:判断长周期软件构建质量的分析维度,把连续需求组织成可复现实测任务的实验方法,以及避免只看最终代码、同时观察过程轨迹和集成风险的结果分析方式。文中列出的任务结构与检查项均明确作为通用实践示例;ViBench 2.0 的正式任务数量、评分公式、参评模型及成绩没有出现在给出的摘要片段中,应以原文为准。
1、评测对象变了:从生成代码到持续构建产品
1、评测对象变了:从生成代码到持续构建产品 · AI 生成示意图
传统代码评测往往围绕一个明确问题展开:给定输入,让模型产出满足局部要求的代码。长周期软件构建面对的却是一串相互依赖的需求。前面加入的数据模型会影响后面的权限设计,后面的界面调整可能牵动已有接口,而每次修改还都可能破坏此前已经可用的功能。
下面这张表是通用的任务分层,用来解释不同评测对象之间的差别,不代表 ViBench 2.0 的官方分类。
| 任务层级 | 常见输入 | 常见产物 | 主要风险 |
|---|---|---|---|
| 单点代码生成 | 一次明确指令 | 函数或代码片段 | 局部正确却无法集成 |
| 功能实现 | 一组边界需求 | 模块与局部测试 | 修改时忽视既有状态 |
| 长周期构建 | 连续新增与调整需求 | 随需求演进的完整产品 | 上下文丢失、模块冲突与回归 |
| 故障恢复 | 运行反馈与修复请求 | 修正后的可运行状态 | 只修表象,继续破坏其他功能 |
由此可见,产品级评测不能只问最后生成的代码是否像答案,还要问 Agent 是否理解此前做出的设计决策,是否能把新功能接入已有系统,以及是否在修改后维持整个项目可运行。ViBench 2.0 所指向的正是这种更长、更接近产品交付的工作形态。
2、从标题与摘要中,可以读出哪些信号
根据论文标题和现有摘要,可以稳妥提炼出四个信号:评测主题是 long-horizon software building;真实使用方式包含 successive feature requests;目标产物是 entire products;评测对象是能够连续工作的 coding agent。它们共同说明,衡量重点应当覆盖需求序列,而不是只覆盖孤立请求。
围绕这些信号,可以进一步提出几类通用问题:
- Agent 是否记得先前已经实现的能力与尚未解决的设计约束?
- 新需求是否正确复用了已有模块,而不是复制一套相互冲突的逻辑?
- 需求变化后,Agent 能否调整原有结构,同时保持其他功能可用?
- 出现运行错误时,Agent 是定位根因,还是通过反复打补丁掩盖问题?
- 最终产物是否与全部需求一致,而不只是完成了最近一轮修改?
这些问题构成了阅读 ViBench 2.0 结果时的分析坐标。它们是对长周期软件构建的通用拆解,并不意味着论文一定采用了完全相同的指标或检查流程;正式评测口径仍需查阅原文。
3、把产品开发变成可观测的评测闭环
长周期任务最容易失控的地方,是需求、执行和验收彼此脱节。比较稳妥的做法,是先定义产品级目标,再按顺序发出功能请求,同时保存每轮代码状态、运行结果与 Agent 的设计说明。
下面是一个用于组织自有评测的 YAML 示例,只展示方法,不代表 ViBench 2.0 官方配置:
evaluation_name: '自建长周期软件构建评测'
source_note: '通用实践示例,不对应 ViBench 2.0 官方任务'
scenario:
product_goal: '构建一个可持续迭代的内部工具'
request_sequence:
- '加入基础数据录入能力'
- '增加基于角色的访问控制'
- '允许用户调整界面布局'
observations:
- '每一轮需求对应的代码变化'
- '运行与测试结果'
- 'Agent 对设计取舍的说明'
final_checks:
- '全部功能可以协同工作'
- '后续修改没有破坏既有功能'
- '交付说明能够解释关键变更'
实际执行时,可以把流程拆成五步。第一步是在任务开始前确定产品边界与验收方式,避免评测沦为无止境地追加功能。第二步是让需求形成有依赖关系的序列,而不是随机抛出一组互不相关的指令。第三步是在每一轮保留完整轨迹,包括修改了哪些文件、采用了什么方案以及如何解释取舍。第四步是使用独立于 Agent 描述的检查方式验证产物,例如运行项目、观察真实交互,并确认既有流程仍然成立。第五步是在全部需求结束后进行整体复核,而不是把最后一轮通过视为任务完成。
这一流程的关键不在于测试了多少轮,而在于能否把长时间跨度中的状态变化与最终产品状态对应起来。只有证据链完整,失败才能被归因,而不是笼统地归结为模型能力不足。
4、别让一个总分遮住真正的失败
长周期软件构建的失败往往不是“完全没写出来”,而是“表面完成但系统逐渐失控”。分析结果时,可以按信号追查深层问题。
| 观察信号 | 表面成功 | 更深层的问题 |
|---|---|---|
| 新功能出现,但原有入口失效 | 最新需求已经实现 | 修改引入回归 |
| 代码可以运行,多个模块却各自独立 | 局部测试通过 | 集成边界没有闭合 |
| Agent 反复修改同一处 | 每次都根据反馈行动 | 缺少稳定的根因定位能力 |
| 交付说明完整,实际项目无法启动 | 回答看起来很完整 | 文档与真实产物不一致 |
| 后加入的功能绕过早期约束 | 新功能可使用 | 先前设计决策被遗忘 |
因此,评测报告不应只呈现一个聚合结果。更有解释力的方式是同时记录功能完成度、跨步骤一致性、模块集成质量、故障恢复能力与可维护性,再为不同失败建立分类。这里列出的维度是通用分析方法;ViBench 2.0 是否采用其中某项,以及如何加权,均以原文为准。
对于长程任务,结果解读还应区分两类能力:一类是 Agent 当前能否完成指定功能,另一类是它在持续交互中能否保持目标、约束和历史决策。前者反映局部执行水平,后者更接近真实软件工程中的长期可靠性。一个 Agent 可能擅长迅速完成单个需求,却会在连续修改中破坏已有结构;另一个 Agent 的单轮速度未必突出,却可能保持更稳定的产品状态。
5、给研发团队的可执行清单
如果要围绕 ViBench 2.0 的思路建设内部能力,可以从以下检查项开始:
- 用连续功能请求组织任务,并明确哪些需求存在前后依赖。
- 为每轮请求设置可验证的验收条件,同时保留跨轮次的整体目标。
- 同时保存最终代码、运行结果、需求轨迹与设计说明。
- 把“功能是否实现”和“已有功能是否被破坏”分开记录。
- 对失败进行分类,区分上下文遗忘、错误集成、局部修补与验证失真。
- 在总览结果之外保留分项证据,避免聚合分数掩盖关键缺陷。
- 对关键任务进行重复运行,观察 Agent 是否稳定维护项目状态,而不是偶然走对一次流程。
这套方法也提醒团队,Agent 产品的验收对象不能只有聊天回复。最终交付的是持续变化后的软件状态,交互轨迹与代码产物都属于产品质量的一部分。尤其是需求会继续增加的产品,评测必须保留足够长的观察窗口,才能看到记忆、规划、执行和修复之间的真实联系。
写在最后
ViBench 2.0 抓住的是 AI 编程从单次生成走向连续交付后的评测缺口。
它把关注点放在整个产品如何随需求演进,而不只是某段代码是否正确。
对研发团队而言,任务轨迹、状态保持和集成结果必须与最终产物一起评估。
阅读其报告时,应优先寻找失败类型与过程证据,再看聚合结果。
我的判断:长周期软件构建能力,将比单次代码正确率更能区分真正可用的 coding agent。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。