总榜第一不等于最划算:Intelligence Index v5 换代后,模型选型要算的账
Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5,但总榜第一不等于最划算。这篇把「能力排名 vs 实际成本」摊成一张选型账,给出可直接运行的月账单测算脚本与一套落地选型流程。
文章目录
2026 年 10 月 29 日,Artificial Analysis 公布了 Intelligence Index v5 的榜单结果,Gemini 4 Carbon 位居总榜第一。换版干脆,名次清楚,榜首也明确——这是一条适合转发的消息。
但当这个决定从「转发」变成「上线」,另一个问题立刻冒出来:总榜第一的模型,落到我的账单上真的最划算吗?榜单量的是能力,你的成本表量的是钱、延迟和改造成本,两本账不是同一本。今天把它摊开算一次。
1、榜单换代:尺子换了,名次就会漂
1、榜单换代:尺子换了,名次就会漂 · AI 生成示意图
先说一件容易被忽略的事:Intelligence Index 从一个版本换到下一个版本,评测方法、题目集、计分方式都可能调整。于是同一个模型在新版里的名次,可能和上一版完全不同——这往往不是模型变强或变弱,而是尺子换了。
所以看到「某模型从第几名升到第几名」时,先确认它是不是跨版本比较。如果是跨版本的名次差,就不该当成进步或退步来解读。真正能横向比的,是同一版本内的名次:v5 的第一名,只能和 v5 的第二名、第三名放在一起比较。
还有一点:总榜第一意味着的是「在 v5 覆盖的那组任务组合上,当前综合表现最好的那个解」。它不代表在你的具体任务上领先,不代表它是你能买到的最优解,更不代表它最便宜。
2、把「第一」翻译成账单:至少要过三关
第一关:单价。 榜单不给你价格。输入 token、输出 token 分别计价,各家定价差距可以很大;换版节点上也常伴随定价调整。查价只认供应商官方定价页,不要用二手对比文章里的旧数字。
第二关:用量结构。 你的调用形态决定了谁更贵。同样一个任务,「长上下文输入 + 短输出」和「短输入 + 长输出」是两种完全不同的账单结构,模型的成本排序会因此对调。这是榜单永远无法回答、但你必须回答的问题。
第三关:隐性账。 超时与失败触发的重试、被截断的输出、多轮对话里反复带入的历史上下文、限速导致的排队等待——这些都不出现在能力榜单里,却真实出现在你的账单上。
下面这张表,把两份账放在同一页对照看:
| 账目维度 | 总榜第一意味着什么 | 你的账单里真实发生什么 | 核对方式 |
|---|---|---|---|
| 能力排名 | 在 v5 的任务组合上综合领先 | 只代表该组任务的平均表现 | 对照指数覆盖的任务清单是否含你的场景 |
| 版本基线 | v5 换了评测方法与题目集 | 跨版本名次差不能当进退步读 | 确认比较是否发生在同一版本内 |
| 输入单价 | 与排名无关,各家独立定价 | 长上下文场景里的主要开销 | 查官方定价页的每百万 token 输入价 |
| 输出单价 | 与排名无关,各家独立定价 | 生成越长越贵,最容易被忽略 | 把 prompt 与 completion 分开计 |
| 用量结构 | 榜单不反映你的流量形态 | 输入重或输出重会让成本排序对调 | 用自己网关日志的 token 分布算一遍 |
| 失败与重试 | 榜单跑的是受控样本 | 超时、截断、格式错都会触发重试 | 从网关日志统计重试率与重试 token |
| 集成与改造 | 榜单不评工程成本 | 换模型常伴随 prompt 重写、评测重建 | 预留人力与灰度周期 |
| 合规与数据边界 | 榜单不看数据流向 | 出境、留存、审计要求可能直接否掉选项 | 先过合规,再谈价格 |
3、把账算出来:一份可直接跑的测算脚本
下面这段 Python 脚本做的事很朴素:把你自己的月度 token 用量乘上各家官方定价页的单价,给出每个候选模型的月成本,并与它们在 v5 里的名次并排显示,最后明确告诉你——名次最高的那个,和账单最低的那个,是不是同一个。
脚本里没有任何内置价格,所有单价都必须从官方定价页录入后才会运行,这样跑出来的数字可以放心贴进决策文档。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
'''选型账:把 Intelligence Index v5 的名次与真实账单放进同一张表。
所有单价都从供应商官方定价页录入,脚本不内置任何默认价格。
用法:填写 PRICES 与 TOKENS 两处,然后运行本脚本。
'''
import sys
PRICES = {
'gemini_4_carbon': {'input': None, 'output': None}, # Intelligence Index v5 总榜第一
'current_model': {'input': None, 'output': None}, # 你现在正在用的
'candidate_b': {'input': None, 'output': None}, # 候选方案
}
RANK_IN_V5 = {
'gemini_4_carbon': 1,
'current_model': None,
'candidate_b': None,
}
TOKENS = {'input': 0, 'output': 0} # 月度输入 / 输出 token,来自网关日志
CACHE_HIT_RATE = 0.0 # 输入命中缓存的比例,按实测值填
CACHE_DISCOUNT = 1.0 # 缓存命中部分的计价系数,按官方规则填
def monthly_cost(price, tokens):
billable_input = (tokens['input'] * (1 - CACHE_HIT_RATE)
+ tokens['input'] * CACHE_HIT_RATE * CACHE_DISCOUNT)
return (billable_input * price['input']
+ tokens['output'] * price['output']) / 1_000_000
def report():
missing = [m for m, p in PRICES.items() if p['input'] is None or p['output'] is None]
if missing:
sys.exit('请先在 PRICES 中填入官方定价页的单价:' + '、'.join(missing))
rows = []
for model, price in PRICES.items():
rows.append((model, RANK_IN_V5.get(model), monthly_cost(price, TOKENS)))
rows.sort(key=lambda r: r[2])
print('模型'.ljust(22) + 'v5名次'.rjust(8) + '月成本'.rjust(14))
for model, rank, cost in rows:
rank_text = str(rank) if rank is not None else '未上榜'
print(model.ljust(22) + rank_text.rjust(8) + format(cost, '.2f').rjust(14))
ranked = [r for r in rows if r[1] is not None]
top = min(ranked, key=lambda r: r[1]) if ranked else None
cheapest = rows[0]
print('')
if top and cheapest[0] != top[0]:
print('名次最高的是 ' + top[0] + '(第 ' + str(top[1]) + ' 名),'
'但账单最低的是 ' + cheapest[0] + ',每月差 '
+ format(top[2] - cheapest[2], '.2f') + '。')
else:
print(cheapest[0] + ' 同时拿到名次第一与账单第一,直接选它。')
if __name__ == '__main__':
report()
跑法很简单:编辑 PRICES 与 TOKENS 两处,运行脚本。把 RANK_IN_V5 里的名次换成 v5 榜单上的真实名次(未上榜的写 None),输出就会变成一张「名次 vs 成本」对照表。如果第一行的模型不是总榜第一,说明你的场景下第一名确实更便宜;反过来,如果榜第一排在最后一行,那么这次换代对你的账单意义,比对公关稿的意义大得多。
4、榜单之外的隐性账:延迟、配额、迁移
能力之外,工程上有三笔账同样要算。
延迟与吞吐。 榜单给的是分数,你的用户等的是首 token 延迟和并发配额。一个分数高但排队两秒的模型,在交互式产品里可能比分数略低但响应稳定的模型更糟。
稳定性与重试。 线上真实分布里,永远有长尾。格式错、工具调用失败、上下文超限带来的重试,会同时抬高成本和延迟,而榜单的受控评测里看不到这些。
迁移成本。 换模型常常不是改一行 model id:prompt 对模型的敏感度、工具调用格式、输出解析逻辑、评测集要不要重建,这些工时往往比差价更贵,也更容易被漏掉。
顺着这个逻辑,还有一个常被忽略的选项:不选一个,而是做路由。把难题交给榜单上更靠前的模型,把日常的分类、抽取、摘要、格式转换交给成本明显更低的那一档,单次任务的平均成本通常比全量走一个模型更可控。榜单帮你在「难题那档」里选谁,成本表帮你决定「简单那档」是谁。
5、一套可复用的选型动作
把上面的账目收敛成流程,大致是五步:
- 先定义任务与成功标准,从自己的业务场景出发,而不是从榜单出发。
- 用自己的真实 prompt 建评测集,流量形态、长度分布、失败类型都要贴近线上。
- 候选集必须包含成本明显更低的选项,只放榜单前列会让你失去议价空间。
- 统一口径横向测:任务成功率、首 token 延迟、每次任务成本、重试率,而不是只看一个分数。
- 路由 + 灰度上线,把差价最大的那一段流量先切过去,用真实账单复核,再决定是否全量。
写在最后
总榜第一是一次公开的信号,不是一份合同。榜单回答的是「能力大致到了哪一步」,你的成本表回答的是「这件事值不值」。两者都成立,但只有后者会出现在账单上。
换一个角度:榜单换代这件事真正提醒我们的,不是谁坐上了第一把交椅,而是我们的选型流程里,长期缺了一个「算账」环节。把榜单当雷达,把成本当账本,雷达负责发现可能性,账本负责决定要不要下单。
相关阅读
- 原文:总榜第一不等于最划算 —— https://juejin.cn/post/7701929263046475839
- Artificial Analysis 榜单首页(Intelligence Index 各版本与模型分数):https://artificialanalysis.ai/
- 各模型官方定价页(输入 / 输出单价、缓存与批处理规则):请以你实际采购的供应商页面为准
文中链接
整理自本文的外部链接,请以来源页面说明为准。