Agent 测评绿灯不等于有效:真实价值要看交付证据

从测试分母、模型回答、裁判机制、检索、成本与可比性出发,拆解 Agent 评测中的绿灯究竟证明了什么。读完可建立面向真实任务价值的评测视角,用实际交付与质量证据判断结果,不再被单一测试结果牵着走。

文章目录

原文:Agent 测评全景:从测试绿灯到真实任务价值

Agent 评测关注的,不只是测试是否通过,还包括模型回答、实际交付与质量证据。这正是现在值得梳理的原因:测试绿灯、模型回答与任务价值并不是同一层信号,混在一起,很容易把局部成功误读成完整价值。真正的问题不是有没有绿灯,而是这个绿灯在什么条件下成立。

看一条 Agent 评测结果,可以沿着一条清晰链路追问:分母是什么,谁在裁判,检索是否参与,成本如何计入,结果能不能交付,证据是否支持横向比较。这样能把“看起来不错”拆成可检查的判断项,也能避免把局部指标包装成整体能力。原文对具体评测口径的展开以原文为准。

1、先看分母:绿灯到底除以了什么

1、先看分母:绿灯到底除以了什么(AI 生成示意图)

1、先看分母:绿灯到底除以了什么 · AI 生成示意图

同样叫“通过率”,如果分母、纳入规则和统计口径不同,数字就不能直接横比。分母回答的是“通过了多少”,却也决定“没有看见什么”。因此,读评测时先找清楚:统计对象是谁,失败是否计入,是否还有未进入统计的结果。没有分母的通过率,只是一个缺少边界的绿灯。

更关键的是,测试、模型回答、实际交付与质量证据各自回答不同问题。把它们放进同一张表,不是为了多几个指标,而是为了知道绿灯落在哪一层。

观察层级 绿灯通常说明 不能直接推出 继续追问
测试 预设任务在当前口径下通过 能覆盖真实任务 分母、纳入规则、失败如何计入
模型回答 回答满足当前裁判的判定 结果可直接交付 裁判依据、判定边界
实际交付 任务结果已经完成交付 质量稳定可用 交付条件、验收依据
质量证据 结论有可核验材料支撑 可与其他方案直接比较 证据内容、比较条件
检索 检索环节提供了信息 回答正确采用了信息 检索条件、材料使用方式

表中最后一列才是下一步调查的入口。比如测试通过而交付未完成,说明执行链仍需检查;模型回答被认可但证据不足,说明结论还不能被外部复核。逐层看证据,比只盯总结果更接近真实任务价值。

2、别让裁判替结果背书:回答、检索与证据要拆开

2、别让裁判替结果背书:回答、检索与证据要拆开(AI 生成示意图)

2、别让裁判替结果背书:回答、检索与证据要拆开 · AI 生成示意图

裁判决定“什么算通过”。裁判可能是规则、人工或模型,通常都需要说明评判依据、边界与一致性,具体方式以原文为准。一个回答即使语言流畅、结论漂亮,也可能在任务要求、事实依据或交付条件上不合格。流畅度只能说明表达,不能替代质量判定。

检索也需要拆开看。检索环节提供了材料,回答环节是否正确使用这些材料,是另一件事;最终产物能否交付,还要再过一层检查。把检索、回答、交付和证据一起压成一个绿灯,出现问题时便难以定位。找到材料不等于产出可用结果,使用材料也不等于结果可核验。

这也是质量证据存在的原因。它不是给测试结果换一套更好看的说法,而是回答“凭什么相信这个结果”。回答是否完成任务、产物是否真的交付、证据是否能支撑结论,都应有清楚对应关系。

3、成本不能藏在绿灯背后

成本是另一条不能被绿灯遮住的线。如果只记录通过与否,把产生这些结果所付出的成本放在别处,比较就容易偏向表面表现。更稳妥的做法,是在结果记录中同时保留任务标识、各层是否满足以及成本,再基于同一分母汇总。成本不是失败时才看的附加项,而是比较 Agent 价值时必须同屏出现的变量。

下面这段代码不预设任何分数,只把分母和各层结果分开。它能暴露一个常见问题:测试通过率高,不等于交付率高,也不等于证据完整率同样高。是否把这些指标合成总分、如何加权,应按业务风险决定,具体口径以原文为准。

from dataclasses import dataclass
from typing import Dict, Sequence, Union


@dataclass(frozen=True)
class EvalResult:
    task_id: str
    test_passed: bool
    answer_valid: bool
    delivered: bool
    evidence_complete: bool
    retrieval_used: bool
    cost: float


def summarize(results: Sequence[EvalResult]) -> Dict[str, Union[int, float]]:
    if not results:
        raise ValueError('results 不能为空')

    total = len(results)
    return {
        'denominator': total,
        'test_pass_rate': sum(item.test_passed for item in results) / total,
        'answer_valid_rate': sum(item.answer_valid for item in results) / total,
        'delivery_rate': sum(item.delivered for item in results) / total,
        'evidence_complete_rate': sum(item.evidence_complete for item in results) / total,
        'retrieval_coverage': sum(item.retrieval_used for item in results) / total,
        'total_cost': sum(item.cost for item in results),
    }


def passes_delivery_gate(result: EvalResult) -> bool:
    return (
        result.test_passed
        and result.answer_valid
        and result.delivered
        and result.evidence_complete
    )

这段记录方式的重点不是多算几个比例,而是让每个结论都能回到原始任务。分母变了,比例的含义也会变化;交付条件变了,原来的绿灯便不能直接复用。

4、可比性取决于同一把尺子

可比性像一把尺子,任务范围、裁判规则、检索条件、成本口径或证据要求不同,两个绿灯就不能直接用来排名。可比不是把不同实验的亮点拼在一起,而是确认它们回答的是同一个问题,并且测量方式足够接近。

比较前至少对齐:

  • 任务范围与统计分母
  • 裁判规则与判定标准
  • 检索条件与材料使用方式
  • 成本统计口径
  • 实际交付与质量证据要求

如果这些条件无法对齐,就应把结论限定在当前实验范围内,不把局部绿灯外推成普遍优势。最值得追问的不是这次得了什么结论,而是这个结论能否在相同条件下被复核。先统一尺子,再比较高低。

写在最后

  • 绿灯只说明当前条件下通过,不能替代对模型回答、实际交付和质量证据的检查。
  • 分母、裁判、检索与成本决定结果怎样被统计和比较,不能藏在一句“评测通过”后面。
  • 最有价值的结论,不只是“能不能做”,而是“能否在明确条件下持续交付并拿出证据”。

我的判断是:Agent 测评的终点不是更亮的绿灯,而是更可信的任务价值证据。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

Agent 测评绿灯不等于有效:真实价值要看交付证据 · 阿凡达博客