总榜第一不等于最划算:Intelligence Index v5 换代后,模型选型要算的账

Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5,但总榜第一不等于最划算。这篇把「能力排名 vs 实际成本」摊成一张选型账,给出可直接运行的月账单测算脚本与一套落地选型流程。

文章目录

2026 年 10 月 29 日,Artificial Analysis 公布了 Intelligence Index v5 的榜单结果,Gemini 4 Carbon 位居总榜第一。换版干脆,名次清楚,榜首也明确——这是一条适合转发的消息。

但当这个决定从「转发」变成「上线」,另一个问题立刻冒出来:总榜第一的模型,落到我的账单上真的最划算吗?榜单量的是能力,你的成本表量的是钱、延迟和改造成本,两本账不是同一本。今天把它摊开算一次。

1、榜单换代:尺子换了,名次就会漂

1、榜单换代:尺子换了,名次就会漂(AI 生成示意图)

1、榜单换代:尺子换了,名次就会漂 · AI 生成示意图

先说一件容易被忽略的事:Intelligence Index 从一个版本换到下一个版本,评测方法、题目集、计分方式都可能调整。于是同一个模型在新版里的名次,可能和上一版完全不同——这往往不是模型变强或变弱,而是尺子换了。

所以看到「某模型从第几名升到第几名」时,先确认它是不是跨版本比较。如果是跨版本的名次差,就不该当成进步或退步来解读。真正能横向比的,是同一版本内的名次:v5 的第一名,只能和 v5 的第二名、第三名放在一起比较。

还有一点:总榜第一意味着的是「在 v5 覆盖的那组任务组合上,当前综合表现最好的那个解」。它不代表在你的具体任务上领先,不代表它是你能买到的最优解,更不代表它最便宜。

2、把「第一」翻译成账单:至少要过三关

第一关:单价。 榜单不给你价格。输入 token、输出 token 分别计价,各家定价差距可以很大;换版节点上也常伴随定价调整。查价只认供应商官方定价页,不要用二手对比文章里的旧数字。

第二关:用量结构。 你的调用形态决定了谁更贵。同样一个任务,「长上下文输入 + 短输出」和「短输入 + 长输出」是两种完全不同的账单结构,模型的成本排序会因此对调。这是榜单永远无法回答、但你必须回答的问题。

第三关:隐性账。 超时与失败触发的重试、被截断的输出、多轮对话里反复带入的历史上下文、限速导致的排队等待——这些都不出现在能力榜单里,却真实出现在你的账单上。

下面这张表,把两份账放在同一页对照看:

账目维度 总榜第一意味着什么 你的账单里真实发生什么 核对方式
能力排名 在 v5 的任务组合上综合领先 只代表该组任务的平均表现 对照指数覆盖的任务清单是否含你的场景
版本基线 v5 换了评测方法与题目集 跨版本名次差不能当进退步读 确认比较是否发生在同一版本内
输入单价 与排名无关,各家独立定价 长上下文场景里的主要开销 查官方定价页的每百万 token 输入价
输出单价 与排名无关,各家独立定价 生成越长越贵,最容易被忽略 把 prompt 与 completion 分开计
用量结构 榜单不反映你的流量形态 输入重或输出重会让成本排序对调 用自己网关日志的 token 分布算一遍
失败与重试 榜单跑的是受控样本 超时、截断、格式错都会触发重试 从网关日志统计重试率与重试 token
集成与改造 榜单不评工程成本 换模型常伴随 prompt 重写、评测重建 预留人力与灰度周期
合规与数据边界 榜单不看数据流向 出境、留存、审计要求可能直接否掉选项 先过合规,再谈价格

3、把账算出来:一份可直接跑的测算脚本

下面这段 Python 脚本做的事很朴素:把你自己的月度 token 用量乘上各家官方定价页的单价,给出每个候选模型的月成本,并与它们在 v5 里的名次并排显示,最后明确告诉你——名次最高的那个,和账单最低的那个,是不是同一个。

脚本里没有任何内置价格,所有单价都必须从官方定价页录入后才会运行,这样跑出来的数字可以放心贴进决策文档。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
'''选型账:把 Intelligence Index v5 的名次与真实账单放进同一张表。

所有单价都从供应商官方定价页录入,脚本不内置任何默认价格。
用法:填写 PRICES 与 TOKENS 两处,然后运行本脚本。
'''

import sys

PRICES = {
    'gemini_4_carbon': {'input': None, 'output': None},  # Intelligence Index v5 总榜第一
    'current_model':  {'input': None, 'output': None},  # 你现在正在用的
    'candidate_b':    {'input': None, 'output': None},  # 候选方案
}

RANK_IN_V5 = {
    'gemini_4_carbon': 1,
    'current_model': None,
    'candidate_b': None,
}

TOKENS = {'input': 0, 'output': 0}   # 月度输入 / 输出 token,来自网关日志
CACHE_HIT_RATE = 0.0                # 输入命中缓存的比例,按实测值填
CACHE_DISCOUNT = 1.0                # 缓存命中部分的计价系数,按官方规则填


def monthly_cost(price, tokens):
    billable_input = (tokens['input'] * (1 - CACHE_HIT_RATE)
                      + tokens['input'] * CACHE_HIT_RATE * CACHE_DISCOUNT)
    return (billable_input * price['input']
            + tokens['output'] * price['output']) / 1_000_000


def report():
    missing = [m for m, p in PRICES.items() if p['input'] is None or p['output'] is None]
    if missing:
        sys.exit('请先在 PRICES 中填入官方定价页的单价:' + '、'.join(missing))

    rows = []
    for model, price in PRICES.items():
        rows.append((model, RANK_IN_V5.get(model), monthly_cost(price, TOKENS)))
    rows.sort(key=lambda r: r[2])

    print('模型'.ljust(22) + 'v5名次'.rjust(8) + '月成本'.rjust(14))
    for model, rank, cost in rows:
        rank_text = str(rank) if rank is not None else '未上榜'
        print(model.ljust(22) + rank_text.rjust(8) + format(cost, '.2f').rjust(14))

    ranked = [r for r in rows if r[1] is not None]
    top = min(ranked, key=lambda r: r[1]) if ranked else None
    cheapest = rows[0]
    print('')
    if top and cheapest[0] != top[0]:
        print('名次最高的是 ' + top[0] + '(第 ' + str(top[1]) + ' 名),'
              '但账单最低的是 ' + cheapest[0] + ',每月差 '
              + format(top[2] - cheapest[2], '.2f') + '。')
    else:
        print(cheapest[0] + ' 同时拿到名次第一与账单第一,直接选它。')


if __name__ == '__main__':
    report()

跑法很简单:编辑 PRICES 与 TOKENS 两处,运行脚本。把 RANK_IN_V5 里的名次换成 v5 榜单上的真实名次(未上榜的写 None),输出就会变成一张「名次 vs 成本」对照表。如果第一行的模型不是总榜第一,说明你的场景下第一名确实更便宜;反过来,如果榜第一排在最后一行,那么这次换代对你的账单意义,比对公关稿的意义大得多。

4、榜单之外的隐性账:延迟、配额、迁移

能力之外,工程上有三笔账同样要算。

延迟与吞吐。 榜单给的是分数,你的用户等的是首 token 延迟和并发配额。一个分数高但排队两秒的模型,在交互式产品里可能比分数略低但响应稳定的模型更糟。

稳定性与重试。 线上真实分布里,永远有长尾。格式错、工具调用失败、上下文超限带来的重试,会同时抬高成本和延迟,而榜单的受控评测里看不到这些。

迁移成本。 换模型常常不是改一行 model id:prompt 对模型的敏感度、工具调用格式、输出解析逻辑、评测集要不要重建,这些工时往往比差价更贵,也更容易被漏掉。

顺着这个逻辑,还有一个常被忽略的选项:不选一个,而是做路由。把难题交给榜单上更靠前的模型,把日常的分类、抽取、摘要、格式转换交给成本明显更低的那一档,单次任务的平均成本通常比全量走一个模型更可控。榜单帮你在「难题那档」里选谁,成本表帮你决定「简单那档」是谁。

5、一套可复用的选型动作

把上面的账目收敛成流程,大致是五步:

  1. 先定义任务与成功标准,从自己的业务场景出发,而不是从榜单出发。
  2. 用自己的真实 prompt 建评测集,流量形态、长度分布、失败类型都要贴近线上。
  3. 候选集必须包含成本明显更低的选项,只放榜单前列会让你失去议价空间。
  4. 统一口径横向测:任务成功率、首 token 延迟、每次任务成本、重试率,而不是只看一个分数。
  5. 路由 + 灰度上线,把差价最大的那一段流量先切过去,用真实账单复核,再决定是否全量。

写在最后

总榜第一是一次公开的信号,不是一份合同。榜单回答的是「能力大致到了哪一步」,你的成本表回答的是「这件事值不值」。两者都成立,但只有后者会出现在账单上。

换一个角度:榜单换代这件事真正提醒我们的,不是谁坐上了第一把交椅,而是我们的选型流程里,长期缺了一个「算账」环节。把榜单当雷达,把成本当账本,雷达负责发现可能性,账本负责决定要不要下单。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

总榜第一不等于最划算:Intelligence Index v5 换代后,模型选型要算的账 · 阿凡达博客