Agent 的 Demo 为什么一到生产就失灵?

从摘要中的 LiveBench 2.0 通用任务榜切入,解释 Agent 为何常在演示中表现出色、在生产环境却失效,并给出任务分层、工具契约、回归评测、可观测性与故障恢复清单,帮助团队把惊艳效果转化为可验收的稳定能力。

文章目录

原文:为什么 agent 的 demo 都很惊艳,上了生产就不靠谱

Agent 的 Demo 惊艳,并不等于它已经具备生产可靠性。摘要给出的 LiveBench 2.0 通用任务榜对比很有代表性:Claude Fable 5.2 能完成 82.9 个任务,ChatGPT-6 Astra 完成 75.6 个任务。榜单能够反映模型完成通用任务的能力,也能说明两者在当前评测口径下存在差距,但无法单独证明某个 Agent 在真实生产链路中能够持续、稳定、可审计地完成任务。这正是从演示脚本走向业务系统时最容易被忽略的一层鸿沟。

真正值得带走的不是某个模型名或一次跑分,而是一套判断 Agent 能否上生产的方法:怎样拆分任务、约束工具、验证最终状态、记录执行轨迹,以及失败后怎样恢复。相较此前同题材旧稿《AI 排障不该只给答案:VeOps 深度》,新的进展点是把问题前移到 Demo 与生产之间的断层,给出从用例设计到运行治理的完整检查框架;摘要没有提供完整的生产侧统计,相关评测口径和结论以原文为准。

1、榜单领先和生产可靠不是同一件事

1、榜单领先和生产可靠不是同一件事(AI 生成示意图)

1、榜单领先和生产可靠不是同一件事 · AI 生成示意图

摘要中的数字首先说明了通用任务能力存在差异:Claude Fable 5.2 为 82.9 个任务,ChatGPT-6 Astra 为 75.6 个任务。但榜单上的“完成”,通常只覆盖预先定义的任务、上下文和验收条件;生产环境面对的则是持续变化的输入、多个工具、权限边界、外部状态以及异常路径。

因此,评测分数更适合回答“它能否完成这道题”,生产验收更关心“它能否在约束内把业务真正做完”。两者的关注点并不相同。

维度 Demo 场景 生产场景
任务输入 通常经过挑选,路径较明确 一般更开放,可能包含模糊表达和脏数据
运行上下文 往往一次完成,状态较干净 经常跨步骤、跨系统,状态持续变化
工具调用 可能只展示成功结果 需要处理超时、格式变化、权限不足和部分失败
验收标准 常以回答是否好看为准 应以业务状态和副作用是否正确为准
失败处理 演示者可以现场修正 系统需要自动恢复、停止或转人工
可追溯性 通常只保留最终答案 需要保留决策、调用、状态变化和操作记录

榜单成绩可以用来筛选能力,但不能直接充当生产上线证明。越是接近真实业务的 Agent,越应该用业务终态而不是演示观感来验收。

2、Demo 为什么容易显得惊艳

Demo 往往把最顺利的一段过程集中展示出来,这本身并不代表造假,而是展示场景和真实运行条件通常不同。

第一,任务目标往往已经被人工整理过。用户一句模糊需求,在演示前可能已经变成清晰指令;到了生产环境,系统必须自己补齐信息。第二,工具和环境通常处于受控状态,参数正确、返回格式稳定,失败分支则被避开。第三,操作者本身就是最后一道兜底,一旦方向不对,可以立即改写提示词、补充上下文或亲自完成剩余步骤。

第四,Demo 往往只呈现成功轨迹。模型选对工具、生成正确参数并得到理想输出,看起来就像一个能够自主工作的智能体;但生产系统还需要回答它为什么选择这个动作、是否越权、产生什么副作用,以及失败后谁来接管。

所以,“惊艳”往往来自任务编排、界面反馈与人工兜底的共同作用。评估模型能力时应尽量减少这些助力,评估生产方案时则必须把它们显式建模。

3、生产失败往往不是不会答,而是无法持续完成

Agent 的运行链路通常不是一次模型调用,而是理解目标、制定步骤、选择工具、解释结果、更新状态、处理异常并确认终态的连续过程。任何一环不稳定,都可能让整个任务失败。

例如,工具可能返回了模型没有预料到的结构,模型仍然继续执行;某个参数可能已经失效,但中间推理看起来仍然合理;写入操作可能只完成了一部分,而界面仍显示任务成功。这类问题不一定是模型突然“变笨”,而是生产链路的副作用超出了单轮问答能够覆盖的范围。

可靠性评估也不应只检查最终回复。更稳妥的方式是同时检查工具调用轨迹、业务终态、外部副作用、错误恢复路径和审计记录。一个最终答案写得很漂亮的 Agent,如果重复创建了记录、遗漏了必要更新,或者无法解释状态变化,依然不适合进入关键流程。

4、把生产目标翻译成可回归的 Agent 用例

改进方向不是继续堆叠更长的演示提示词,而是把真实目标拆成可以重复执行、明确断言的测试用例。测试夹具应控制输入和工具返回,用例则明确允许的动作、预期产生的效果以及绝不能出现的副作用。

下面是一种简化的用例骨架。它不绑定具体模型,重点是把“看起来合理”改成“状态符合预期”。

import os
from dataclasses import dataclass

@dataclass(frozen=True)
class AgentCase:
    name: str
    goal: str
    allowed_tools: tuple[str, ...]
    expected_effects: tuple[str, ...]
    forbidden_effects: tuple[str, ...]

def run_case(agent, case: AgentCase) -> dict:
    result = agent.run(
        case.goal,
        allowed_tools=case.allowed_tools,
        max_steps=int(os.environ['AGENT_MAX_STEPS']),
    )
    actual = set(result.get('effects', ()))
    missing = set(case.expected_effects) - actual
    forbidden = actual & set(case.forbidden_effects)

    return {
        'passed': not missing and not forbidden,
        'missing': sorted(missing),
        'forbidden': sorted(forbidden),
        'tool_calls': result.get('tool_calls', ()),
    }

这个框架带来几个直接变化:测试不再只看回复文本,而是检查业务效果;工具权限被写进用例,防止 Agent 绕开约束;不允许发生的副作用也进入断言,使越权、重复写入等问题能够在上线前暴露。

用例集通常还应覆盖输入不完整、工具返回异常、权限不足、执行到一半失败和恢复后继续等路径。运行限制可以由环境配置提供,具体步骤数、耗时及成功率指标应以原文和实际业务口径为准。

5、给工具调用加边界,而不是给 Agent 无限权限

生产 Agent 的能力很大程度上取决于工具质量。一个语义模糊、参数随意、返回结构不稳定的工具,会把不确定性直接传导给模型。

工具契约通常应包含明确用途、输入输出结构、错误语义和副作用说明。读取操作与写入操作一般应分开授权;高风险动作可以先返回预览,再由规则或人工确认。涉及创建、修改或删除的工具,往往还需要幂等设计,避免重试造成重复副作用。

权限也不应只依赖提示词约束。模型收到的工具列表本身就是边界,运行时校验、参数校验和审计日志则是另一层边界。前者帮助模型理解“可以做什么”,后者确保系统即使遇到错误决策,也不会无限放大影响。

6、上线前应建立可观测、可回退、可复盘的闭环

一套实用的上线检查表,通常可以包含以下内容:

  • 按真实业务拆分任务,明确输入、终态和责任边界。
  • 为每类任务准备可重复的测试夹具,并保存成功与失败样本。
  • 同时断言最终回复、业务状态、外部副作用和禁止动作。
  • 记录目标、步骤、工具输入输出、决策依据、重试与状态变化。
  • 对工具异常、权限错误和部分成功设计明确的停止或恢复策略。
  • 在模型、提示词或工具发生变化后自动运行回归评测。
  • 提供人工接管、暂停执行和回退路径,避免失败持续扩散。

运行时最有价值的日志不是一段漂亮的思考说明,而是能够回答“它做了什么、为什么做、改变了什么、哪里失败、下一步由谁处理”的结构化记录。只有这些信息可以被检索、关联和复盘,团队才可能从一次次 Demo 转向可运营的 Agent 系统。

写在最后

  • 榜单分数说明通用任务能力,却不能替代生产环境验收。
  • Demo 的惊艳通常来自精选任务、稳定工具和人工兜底。
  • 生产可靠性取决于完整执行链,而不只是最终回答质量。
  • 用例断言、工具契约、运行观测和恢复机制共同构成上线基础。

我的判断是:Agent 产品的核心竞争力,最终不在一次演示有多流畅,而在出现异常时,系统仍然知道何时继续、何时停下,以及如何证明任务已经正确完成。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

Agent 的 Demo 为什么一到生产就失灵? · 阿凡达博客