AI Agent 评测:越改越差?8 步锁定真实退步点
AI Agent 上线后,常出现修好一个问题、另一个功能又坏的“盲飞”。本文梳理 Anthropic 的 8 步评测方法:从真实失败提炼任务,组合三类评分器,把“感觉变差了”变成可追踪、可比较的任务失败,让团队少凭感觉改版,稳定定位回归。
文章目录
AI Agent 上线后,用户常会发现它“变笨”:刚修好的路径能用了,另一个任务却悄悄失灵。Anthropic 把这种没有评测坐标、只靠感觉往前冲的状态称为“盲飞”。值得现在看,是因为 Agent 迭代越快,局部修复越容易掩盖全局回归。
真正能带走的,是一条闭环:从真实失败中提炼任务,用三类评分器判断结果,再把每次改动与稳定基线对照。没有失败样本和可追踪结果,改 Prompt、改工具、改流程,都只是猜测。
1、先分清“变蠢”与任务失败
1、先分清“变蠢”与任务失败 · AI 生成示意图
“最近感觉不太行”不是评测结论,只能提示你去找问题。Anthropic 的思路是先把用户反馈和线上失败变成可重复执行的任务,再记录预期行为、实际行为与判定依据。
| 盲飞式迭代 | 评测式迭代 |
|---|---|
| 用户说“最近变笨” | 从真实失败形成具体任务 |
| 修好眼前问题就上线 | 在固定任务上检查连带影响 |
| 凭主观感觉判断好坏 | 由三类评分器留下结果 |
| 改完即结束 | 对照基线并追踪回归 |
这样一来,“感觉变差了”才有机会变成“某个任务失败了”。任务描述若只写“Agent 应该更聪明”,通常无法验收;写成输入、目标和可观察结果,才便于每次改动复用。评测对象不是好聊天感,而是任务是否完成。
2、把 8 步方法变成执行清单
2、把 8 步方法变成执行清单 · AI 生成示意图
结合摘要披露的主线,可以把落地过程整理为下面八个动作;原文对步骤命名和细节的完整表述,以原文为准。
| 步骤 | 动作 | 产出 |
|---|---|---|
| 1 | 收集真实失败 | 可追溯的失败样本 |
| 2 | 提炼评测任务 | 明确的输入与目标 |
| 3 | 定义成功边界 | 可观察的通过条件 |
| 4 | 选择评分方式 | 与任务匹配的判定信号 |
| 5 | 组合三类评分器 | 互补的评分结果 |
| 6 | 建立版本基线 | 当前版本的任务记录 |
| 7 | 执行新旧对照 | 改动前后的结果差异 |
| 8 | 追踪失败回归 | 新失败与修复记录 |
关键不是测得越多越好,而是失败样本能进入任务集,改动能进入版本对照。任务集既要容纳新问题,也要保留核心场景;否则旧能力是否退化,仍然无人知道。
3、三类评分器如何互补
三类评分器的具体名称与细则,以原文为准。实际落地可先从确定性检查、内容覆盖和人工复核三个角度组合;下面给出通用参考模板,不等同于 Anthropic 的原始配置。
from dataclasses import dataclass
import json
@dataclass(frozen=True)
class EvalCase:
task_id: str
task_input: str
expected: set
actual: set
def rule_scorer(case):
return float(case.expected <= case.actual)
def coverage_scorer(case):
if not case.expected:
return float(not case.actual)
return len(case.expected & case.actual) / len(case.expected)
def human_scorer(case, reviews):
return float(reviews.get(case.task_id, 0.0))
def evaluate(cases, reviews):
rows = []
for case in cases:
scores = {
'rule': rule_scorer(case),
'coverage': coverage_scorer(case),
'human': human_scorer(case, reviews),
}
rows.append({
'task_id': case.task_id,
'scores': scores,
'passed': all(score == 1.0 for score in scores.values()),
})
return rows
if __name__ == '__main__':
cases = [
EvalCase(
'task-1',
'用户请求执行指定操作',
{'完成指定操作', '返回关键信息'},
{'完成指定操作', '返回关键信息'},
),
EvalCase(
'task-2',
'用户请求执行指定操作',
{'完成指定操作', '返回关键信息'},
{'完成指定操作'},
),
]
reviews = {'task-1': 1.0, 'task-2': 0.0}
print(json.dumps(evaluate(cases, reviews), ensure_ascii=False, indent=2))
脚本只用 Python 标准库,输出每项分数与通过状态。它只展示组合方式,不复刻原文分类。实际使用时,还要把任务、版本和失败原因一起留存。
4、从一次得分变成版本对照
评测闭环要回答三个问题:当前版本在哪些任务上失败;这次改动让哪些任务转好;又让哪些原本通过的任务失效。只看总分,通常会遮住这种变化。回归不是某个绝对分数,而是同一任务在新旧版本之间的结果差异。
发布前,在同一任务集上运行旧版与新版,同时查看通过结果和具体失败。改动原因、任务版本、评分结果一起留存,团队才能说清“这次 Prompt 调整导致什么”,而不是继续靠印象争论。
5、让失败持续进入评测集
每次真实失败都要回答:能否复现,能否写成任务,预期结果是什么,由哪种评分器判断。满足条件就加入失败集;修复后用同一任务回归,不要重写一个更容易通过的测试。
- 保留稳定核心任务,避免每次换题;
- 新增失败任务时,记录来源和触发条件;
- 修改任务或评分标准时,记录原因,保住历史可比性;
- 修复后确认旧失败没有换成新失败。
难点不是搭评分器,而是把评测放进发布流程。没有回归记录的“已修复”,只是开发者的主观判断。
写在最后
盲飞不是模型突然变笨,而是改动缺少可比较的反馈坐标。
8 步法的价值,是把真实失败、任务、评分和版本串成闭环。
先修可观测性,再谈自动优化;否则自动化只会更快地放大盲改。
我的判断: 能把每次失败沉淀为任务的团队,才真正拥有 Agent 的迭代能力。
相关阅读
想把这套流程装到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见站内服务页:查看技术服务。
文中链接
整理自本文的外部链接,请以来源页面说明为准。