一次 Skill 评测的复盘:我推翻了一份现成结论,然后自己造了个评测平台

一份看起来很完整的 Skill 模型适配评估,为什么被我推翻?问题不在模型,而在评测方法:每场景只有 1 个 case、对错由 AI 自己判、测的任务和线上高频任务对不上、候选集还缺了最关键的模型。重做时我把判分改成脚本逐字对比、样本扩到 100 case × 3 次采样,结果得分第一的模型反而不是最优解。更关键的是,我把这套流程固化成了一个 Skill 评测平台,用来长期盯效果、做最佳模型选型。

文章目录

原文:一次 Skill 评测的复盘:我推翻了一份现成的模型选型结论,然后自己造了个评测平台

团队里出了一份「高频 Skill 模型适配评估」,表格齐整、结论清晰,给 Jira Skill 的 8 个任务场景各选出了一个「最佳模型」。我本来想直接拿来用,越看越不踏实,最后把它推翻了。

然后我意识到,手搓一次复测就已经够折腾了——100 个 case、多模型对比、错误模式统计、报告撰写,每次重来一遍根本做不下去。于是我把整套流程固化成了一个 Skill 评测平台:既能长期盯住某个 Skill 的实际效果,也能做最佳模型评测与选型。

1、一份看起来很完整的报告,问题到底出在哪

1、一份看起来很完整的报告,问题到底出在哪(AI 生成示意图)

1、一份看起来很完整的报告,问题到底出在哪 · AI 生成示意图

报告本身的数据并不难看。deepseek-v4-pro 40/40 全对,claude-sonnet-4-6 39/40,glm-5.3 也是 40/40——头部模型准确率全在 97.5% 以上,几乎打平。

但一份评测里所有强模型都接近满分,往往不是因为模型都很强,而是因为题太简单、判分太宽松,根本区分不出模型。我把它的做法拆开看,发现四个硬伤。

第一个硬伤是样本只有 1 个:每个场景 1 个 case 跑 5 次,验证的是「同一个 case 跑得稳不稳」,不是「换一个 case 还行不行」。5 次重复是同一个样本的 5 次采样,不等于 5 个样本。

第二个硬伤是对错由 AI 自己判断。准确率靠 AI 判定输出对不对,在语义类任务上没问题,但碰到「逐字复述 bug 信息」这种任务,风险立刻变大。

第三个硬伤是测的任务和真实使用不一致:这个 Skill 在 bugfix 流程里高频使用的只有「获取 bug 信息并下载附件、添加 comment、变更责任人」这 3 项,8 项任务综合最佳不代表这 3 项最佳。

第四个硬伤是候选模型缺失:能力最强的没进池子,又强又便宜的也没进,那么选出的「最佳」说服力自然有限。这四条单独看都不算离谱,叠在一起,结论就站不住了。

2、重做评测:把判分权从 AI 手里拿回来

我的做法是一次只回答一个问题:先单独评测场景 1「获取 bug 信息和附件下载」,因为它调用最频繁、也最容易出事。

指标定死成信息获取的准确性:用脚本把 Agent 输出与 ground truth 逐字对比,完全一致给 5 分,有任何不一致就是 0 分。ground truth 包含 bug 标题、描述等文本信息,以及附件的数量、名称、文件大小。

规模是 100 个不同的 case,每个模型采样 3 次:100 个 case 覆盖多样性,3 次采样观察同一个 case 上的稳定性。

为什么不让 AI 判分?最便宜的模型在转述 bug 内容时,会出现个别字词的细微错误。让 AI 去判断「输出和 ground truth 是否一致」,它很可能把这种错误放过去——它自己转述都会出错,凭什么相信它做逐字核对时不出错?

结论很朴素:能用脚本判定的,就别让 AI 判。而且脚本还能直接告诉你错在哪,比如下面这段会告诉你第 44 个字符开始不一样:

# 逐字对比并定位第一处差异(Python)
def first_diff(actual: str, expected: str) -> int:
    for i, (a, e) in enumerate(zip(actual, expected)):
        if a != e:
            return i
    if len(actual) != len(expected):
        return min(len(actual), len(expected))
    return -1

d = first_diff(actual, expected)
if d == -1:
    print("PASS 5/5:与 ground truth 完全一致")
else:
    print(f"FAIL 0/5:first diff at char {d}")
    print("实际:", actual[d:d + 30])
    print("期望:", expected[d:d + 30])

3、结果:分数第一的模型,未必是最优解

100 个 case、每个 3 次采样下来,sonnet-5-5 只出现了 3 次错误,是所有模型里得分最高的。但这 3 次错得很致命:一种是拉到了错误的 Jira 单号,后续所有动作都建立在错误输入上;另一种是** Agent 中途卡住**,工单信息和 50 个附件其实都拿到了,却因为没按要求输出结果块,脚本解析失败判 0 分。

如果只测 1 个 case,几乎不可能撞上这种低频但致命的错误。这正是原报告方法站不住的地方。

真正的综合赢家是 ds-v4.1-flash:

维度 sonnet-5-5 ds-v4.1-flash
准确率得分 4.93 4.78
平均耗时 44,414 ms 34,649 ms
平均 Token 174,485 45,995(约四分之一)
主要错误模式 拉错单号 / 中途失败 个别字词转述偏差
错误代价 整条流程作废 不影响 bug 指向

ds-v4.1-flash 的错误里,10 例是个别字词的转述错误(可接受),2 例是没按要求输出(较轻)。字面上的偏差不会改变 bug 的指向,而另一个模型错一次,整条流程就废了。

所以这个结论很反直觉:选型看的不是得分高低,而是「错误的代价 × 出现频率 + 调用成本」。

4、手搓评测做不下去,所以我造了个评测平台

复测这一次就要配 100 个 case、跑 3 轮采样、对比多个模型、统计错误模式、再写成报告。靠脚本拼凑的话,每换一个模型、每改一次 Skill 都要重来一遍,大样本评测根本没法持续。

于是我把整套流程做成了 AI 工作台里的 Skill 评测模块。同样是「现成报告 vs 自建评测平台」,差别是这样的:

维度 同事那份现成报告 自建评测平台
样本规模 每场景 1 个 case × 5 次 100 个 case × 3 次采样,可持续扩充
判分方式 AI 判定对错 Rule check 脚本判定,语义项才用 AI score
任务对齐 8 项任务综合打分 一次只测一个高频场景,对齐线上分布
变量控制 模型是唯一变量,未标注 纵向比 Skill 版本、横向比模型,单变量显式标注
结果呈现 一个准确率数字 指标得分、波动 σ、平均耗时、Token、失败分析
结论呈现 直接给出最佳模型 Conclusion / Recommendation / Evidence 三层,先讲局限

平台具体分四步:先写评测方案(定义指标和权重,格式合规用 Rule check,标题质量用 AI score 打 1-5 分);再准备用例(手写、批量导入或 AI 生成,每个用例带输入、期望结果和启用的指标);然后跑评测(选 Skill 版本和运行模型,批量运行并统计得分、波动、耗时、Token,支持纵向/横向 Head-to-head);最后出报告(结论带差异幅度与置信区间,外加建议与证据链,可下载 Markdown 和数据包)。

有个细节我觉得比功能本身更值得抄:示例报告在「局限」一节里主动指出回复内容被省略、case 数量偏少,所以结论只能依据分数。一份好的评测报告应该先说清楚自己的边界,而不是只甩一个漂亮数字。

写在最后

回头看,整个过程就是三步:质疑(全员接近满分、样本只有 1 个、AI 自己判对错,这些都是方法上的信号灯)、重做(缩小范围、脚本判定、扩大样本、对齐真实任务)、沉淀(把方法固化成平台,让下一次评测只是「加用例、选模型、点运行」)。

评测不该是一次性的结论,而应该是随着 Skill 和模型迭代、持续可重复的工程环节。

我的判断是:只要你的 Agent 要上生产,评测平台就不是可选项,而是和 CI 一样的必需品。

相关阅读

想把 AI 工具接进自己的团队、或把这套内容流水线搬到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见:查看技术服务

文中链接

整理自本文的外部链接,请以来源页面说明为准。

一次 Skill 评测的复盘:我推翻了一份现成结论,然后自己造了个评测平台 · 阿凡达博客