一次 Skill 评测的复盘:我推翻了一份现成结论,然后自己造了个评测平台
一份看起来很完整的 Skill 模型适配评估,为什么被我推翻?问题不在模型,而在评测方法:每场景只有 1 个 case、对错由 AI 自己判、测的任务和线上高频任务对不上、候选集还缺了最关键的模型。重做时我把判分改成脚本逐字对比、样本扩到 100 case × 3 次采样,结果得分第一的模型反而不是最优解。更关键的是,我把这套流程固化成了一个 Skill 评测平台,用来长期盯效果、做最佳模型选型。
文章目录
团队里出了一份「高频 Skill 模型适配评估」,表格齐整、结论清晰,给 Jira Skill 的 8 个任务场景各选出了一个「最佳模型」。我本来想直接拿来用,越看越不踏实,最后把它推翻了。
然后我意识到,手搓一次复测就已经够折腾了——100 个 case、多模型对比、错误模式统计、报告撰写,每次重来一遍根本做不下去。于是我把整套流程固化成了一个 Skill 评测平台:既能长期盯住某个 Skill 的实际效果,也能做最佳模型评测与选型。
1、一份看起来很完整的报告,问题到底出在哪
1、一份看起来很完整的报告,问题到底出在哪 · AI 生成示意图
报告本身的数据并不难看。deepseek-v4-pro 40/40 全对,claude-sonnet-4-6 39/40,glm-5.3 也是 40/40——头部模型准确率全在 97.5% 以上,几乎打平。
但一份评测里所有强模型都接近满分,往往不是因为模型都很强,而是因为题太简单、判分太宽松,根本区分不出模型。我把它的做法拆开看,发现四个硬伤。
第一个硬伤是样本只有 1 个:每个场景 1 个 case 跑 5 次,验证的是「同一个 case 跑得稳不稳」,不是「换一个 case 还行不行」。5 次重复是同一个样本的 5 次采样,不等于 5 个样本。
第二个硬伤是对错由 AI 自己判断。准确率靠 AI 判定输出对不对,在语义类任务上没问题,但碰到「逐字复述 bug 信息」这种任务,风险立刻变大。
第三个硬伤是测的任务和真实使用不一致:这个 Skill 在 bugfix 流程里高频使用的只有「获取 bug 信息并下载附件、添加 comment、变更责任人」这 3 项,8 项任务综合最佳不代表这 3 项最佳。
第四个硬伤是候选模型缺失:能力最强的没进池子,又强又便宜的也没进,那么选出的「最佳」说服力自然有限。这四条单独看都不算离谱,叠在一起,结论就站不住了。
2、重做评测:把判分权从 AI 手里拿回来
我的做法是一次只回答一个问题:先单独评测场景 1「获取 bug 信息和附件下载」,因为它调用最频繁、也最容易出事。
指标定死成信息获取的准确性:用脚本把 Agent 输出与 ground truth 逐字对比,完全一致给 5 分,有任何不一致就是 0 分。ground truth 包含 bug 标题、描述等文本信息,以及附件的数量、名称、文件大小。
规模是 100 个不同的 case,每个模型采样 3 次:100 个 case 覆盖多样性,3 次采样观察同一个 case 上的稳定性。
为什么不让 AI 判分?最便宜的模型在转述 bug 内容时,会出现个别字词的细微错误。让 AI 去判断「输出和 ground truth 是否一致」,它很可能把这种错误放过去——它自己转述都会出错,凭什么相信它做逐字核对时不出错?
结论很朴素:能用脚本判定的,就别让 AI 判。而且脚本还能直接告诉你错在哪,比如下面这段会告诉你第 44 个字符开始不一样:
# 逐字对比并定位第一处差异(Python)
def first_diff(actual: str, expected: str) -> int:
for i, (a, e) in enumerate(zip(actual, expected)):
if a != e:
return i
if len(actual) != len(expected):
return min(len(actual), len(expected))
return -1
d = first_diff(actual, expected)
if d == -1:
print("PASS 5/5:与 ground truth 完全一致")
else:
print(f"FAIL 0/5:first diff at char {d}")
print("实际:", actual[d:d + 30])
print("期望:", expected[d:d + 30])
3、结果:分数第一的模型,未必是最优解
100 个 case、每个 3 次采样下来,sonnet-5-5 只出现了 3 次错误,是所有模型里得分最高的。但这 3 次错得很致命:一种是拉到了错误的 Jira 单号,后续所有动作都建立在错误输入上;另一种是** Agent 中途卡住**,工单信息和 50 个附件其实都拿到了,却因为没按要求输出结果块,脚本解析失败判 0 分。
如果只测 1 个 case,几乎不可能撞上这种低频但致命的错误。这正是原报告方法站不住的地方。
真正的综合赢家是 ds-v4.1-flash:
| 维度 | sonnet-5-5 | ds-v4.1-flash |
|---|---|---|
| 准确率得分 | 4.93 | 4.78 |
| 平均耗时 | 44,414 ms | 34,649 ms |
| 平均 Token | 174,485 | 45,995(约四分之一) |
| 主要错误模式 | 拉错单号 / 中途失败 | 个别字词转述偏差 |
| 错误代价 | 整条流程作废 | 不影响 bug 指向 |
ds-v4.1-flash 的错误里,10 例是个别字词的转述错误(可接受),2 例是没按要求输出(较轻)。字面上的偏差不会改变 bug 的指向,而另一个模型错一次,整条流程就废了。
所以这个结论很反直觉:选型看的不是得分高低,而是「错误的代价 × 出现频率 + 调用成本」。
4、手搓评测做不下去,所以我造了个评测平台
复测这一次就要配 100 个 case、跑 3 轮采样、对比多个模型、统计错误模式、再写成报告。靠脚本拼凑的话,每换一个模型、每改一次 Skill 都要重来一遍,大样本评测根本没法持续。
于是我把整套流程做成了 AI 工作台里的 Skill 评测模块。同样是「现成报告 vs 自建评测平台」,差别是这样的:
| 维度 | 同事那份现成报告 | 自建评测平台 |
|---|---|---|
| 样本规模 | 每场景 1 个 case × 5 次 | 100 个 case × 3 次采样,可持续扩充 |
| 判分方式 | AI 判定对错 | Rule check 脚本判定,语义项才用 AI score |
| 任务对齐 | 8 项任务综合打分 | 一次只测一个高频场景,对齐线上分布 |
| 变量控制 | 模型是唯一变量,未标注 | 纵向比 Skill 版本、横向比模型,单变量显式标注 |
| 结果呈现 | 一个准确率数字 | 指标得分、波动 σ、平均耗时、Token、失败分析 |
| 结论呈现 | 直接给出最佳模型 | Conclusion / Recommendation / Evidence 三层,先讲局限 |
平台具体分四步:先写评测方案(定义指标和权重,格式合规用 Rule check,标题质量用 AI score 打 1-5 分);再准备用例(手写、批量导入或 AI 生成,每个用例带输入、期望结果和启用的指标);然后跑评测(选 Skill 版本和运行模型,批量运行并统计得分、波动、耗时、Token,支持纵向/横向 Head-to-head);最后出报告(结论带差异幅度与置信区间,外加建议与证据链,可下载 Markdown 和数据包)。
有个细节我觉得比功能本身更值得抄:示例报告在「局限」一节里主动指出回复内容被省略、case 数量偏少,所以结论只能依据分数。一份好的评测报告应该先说清楚自己的边界,而不是只甩一个漂亮数字。
写在最后
回头看,整个过程就是三步:质疑(全员接近满分、样本只有 1 个、AI 自己判对错,这些都是方法上的信号灯)、重做(缩小范围、脚本判定、扩大样本、对齐真实任务)、沉淀(把方法固化成平台,让下一次评测只是「加用例、选模型、点运行」)。
评测不该是一次性的结论,而应该是随着 Skill 和模型迭代、持续可重复的工程环节。
我的判断是:只要你的 Agent 要上生产,评测平台就不是可选项,而是和 CI 一样的必需品。
相关阅读
想把 AI 工具接进自己的团队、或把这套内容流水线搬到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见:查看技术服务
文中链接
整理自本文的外部链接,请以来源页面说明为准。