AI Agent 评测:越改越差?8 步锁定真实退步点

AI Agent 上线后,常出现修好一个问题、另一个功能又坏的“盲飞”。本文梳理 Anthropic 的 8 步评测方法:从真实失败提炼任务,组合三类评分器,把“感觉变差了”变成可追踪、可比较的任务失败,让团队少凭感觉改版,稳定定位回归。

文章目录

原文:为什么你的 AI Agent“越改越差”?Anthropic 总结了 8 步评测方法

AI Agent 上线后,用户常会发现它“变笨”:刚修好的路径能用了,另一个任务却悄悄失灵。Anthropic 把这种没有评测坐标、只靠感觉往前冲的状态称为“盲飞”。值得现在看,是因为 Agent 迭代越快,局部修复越容易掩盖全局回归。

真正能带走的,是一条闭环:从真实失败中提炼任务,用三类评分器判断结果,再把每次改动与稳定基线对照。没有失败样本和可追踪结果,改 Prompt、改工具、改流程,都只是猜测。

1、先分清“变蠢”与任务失败

1、先分清“变蠢”与任务失败(AI 生成示意图)

1、先分清“变蠢”与任务失败 · AI 生成示意图

“最近感觉不太行”不是评测结论,只能提示你去找问题。Anthropic 的思路是先把用户反馈和线上失败变成可重复执行的任务,再记录预期行为、实际行为与判定依据。

盲飞式迭代 评测式迭代
用户说“最近变笨” 从真实失败形成具体任务
修好眼前问题就上线 在固定任务上检查连带影响
凭主观感觉判断好坏 由三类评分器留下结果
改完即结束 对照基线并追踪回归

这样一来,“感觉变差了”才有机会变成“某个任务失败了”。任务描述若只写“Agent 应该更聪明”,通常无法验收;写成输入、目标和可观察结果,才便于每次改动复用。评测对象不是好聊天感,而是任务是否完成。

2、把 8 步方法变成执行清单

2、把 8 步方法变成执行清单(AI 生成示意图)

2、把 8 步方法变成执行清单 · AI 生成示意图

结合摘要披露的主线,可以把落地过程整理为下面八个动作;原文对步骤命名和细节的完整表述,以原文为准。

步骤 动作 产出
1 收集真实失败 可追溯的失败样本
2 提炼评测任务 明确的输入与目标
3 定义成功边界 可观察的通过条件
4 选择评分方式 与任务匹配的判定信号
5 组合三类评分器 互补的评分结果
6 建立版本基线 当前版本的任务记录
7 执行新旧对照 改动前后的结果差异
8 追踪失败回归 新失败与修复记录

关键不是测得越多越好,而是失败样本能进入任务集,改动能进入版本对照。任务集既要容纳新问题,也要保留核心场景;否则旧能力是否退化,仍然无人知道。

3、三类评分器如何互补

三类评分器的具体名称与细则,以原文为准。实际落地可先从确定性检查、内容覆盖和人工复核三个角度组合;下面给出通用参考模板,不等同于 Anthropic 的原始配置。

from dataclasses import dataclass
import json

@dataclass(frozen=True)
class EvalCase:
    task_id: str
    task_input: str
    expected: set
    actual: set

def rule_scorer(case):
    return float(case.expected <= case.actual)

def coverage_scorer(case):
    if not case.expected:
        return float(not case.actual)
    return len(case.expected & case.actual) / len(case.expected)

def human_scorer(case, reviews):
    return float(reviews.get(case.task_id, 0.0))

def evaluate(cases, reviews):
    rows = []
    for case in cases:
        scores = {
            'rule': rule_scorer(case),
            'coverage': coverage_scorer(case),
            'human': human_scorer(case, reviews),
        }
        rows.append({
            'task_id': case.task_id,
            'scores': scores,
            'passed': all(score == 1.0 for score in scores.values()),
        })
    return rows

if __name__ == '__main__':
    cases = [
        EvalCase(
            'task-1',
            '用户请求执行指定操作',
            {'完成指定操作', '返回关键信息'},
            {'完成指定操作', '返回关键信息'},
        ),
        EvalCase(
            'task-2',
            '用户请求执行指定操作',
            {'完成指定操作', '返回关键信息'},
            {'完成指定操作'},
        ),
    ]
    reviews = {'task-1': 1.0, 'task-2': 0.0}
    print(json.dumps(evaluate(cases, reviews), ensure_ascii=False, indent=2))

脚本只用 Python 标准库,输出每项分数与通过状态。它只展示组合方式,不复刻原文分类。实际使用时,还要把任务、版本和失败原因一起留存。

4、从一次得分变成版本对照

评测闭环要回答三个问题:当前版本在哪些任务上失败;这次改动让哪些任务转好;又让哪些原本通过的任务失效。只看总分,通常会遮住这种变化。回归不是某个绝对分数,而是同一任务在新旧版本之间的结果差异。

发布前,在同一任务集上运行旧版与新版,同时查看通过结果和具体失败。改动原因、任务版本、评分结果一起留存,团队才能说清“这次 Prompt 调整导致什么”,而不是继续靠印象争论。

5、让失败持续进入评测集

每次真实失败都要回答:能否复现,能否写成任务,预期结果是什么,由哪种评分器判断。满足条件就加入失败集;修复后用同一任务回归,不要重写一个更容易通过的测试。

  • 保留稳定核心任务,避免每次换题;
  • 新增失败任务时,记录来源和触发条件;
  • 修改任务或评分标准时,记录原因,保住历史可比性;
  • 修复后确认旧失败没有换成新失败。

难点不是搭评分器,而是把评测放进发布流程。没有回归记录的“已修复”,只是开发者的主观判断。

写在最后

盲飞不是模型突然变笨,而是改动缺少可比较的反馈坐标。
8 步法的价值,是把真实失败、任务、评分和版本串成闭环。
先修可观测性,再谈自动优化;否则自动化只会更快地放大盲改。
我的判断: 能把每次失败沉淀为任务的团队,才真正拥有 Agent 的迭代能力。

相关阅读

想把这套流程装到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见站内服务页:查看技术服务。

文中链接

整理自本文的外部链接,请以来源页面说明为准。

AI Agent 评测:越改越差?8 步锁定真实退步点 · 阿凡达博客