标签:模型选型

同一主题下的文章、视频与资源。

3 篇内容
AI 前沿

一次 Skill 评测的复盘:我推翻了一份现成结论,然后自己造了个评测平台

一份看起来很完整的 Skill 模型适配评估,为什么被我推翻?问题不在模型,而在评测方法:每场景只有 1 个 case、对错由 AI 自己判、测的任务和线上高频任务对不上、候选集还缺了最关键的模型。重做时我把判分改成脚本逐字对比、样本扩到 100 case × 3 次采样,结果得分第一的模型反而不是最优解。更关键的是,我把这套流程固化成了一个 Skill 评测平台,用来长期盯效果、做最佳模型选型。

阿凡达的技术博客