GPT-6.2跑分狂飙却翻车:OpenAI的软肋不是分数

GPT-6.2 Astra 跑分亮眼,却在开发者实测中遭遇“基本不可用”“非常不稳定且古怪”的批评。本文对照官方发布与一线反馈,拆解纸面强、实战弱的落差,并给出验收方法。读者能据此判断:榜单不能替代体验,降价不等于质量上升。

文章目录

原文:跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

北京时间 11 月 18 日凌晨,OpenAI 推出新一代旗舰 GPT-6.2 Astra 与日常主力 GPT-6.2 Sol。官方称 Astra 从智能体到科研刷新纪录,API 单价还下调 20%,本应是一场漂亮的反击。但上线仅 8 分钟,硅谷知名创业者 Matt Shumer 就评价它“基本不可用,不推荐”;Theo Browne 随后写下《我为什么讨厌 GPT-6.2 Astra》,沃顿商学院教授 Ethan Mollick 也称其“非常不稳定且古怪”。它值得现在看,因为这不是一次普通新品争议,而是榜单成绩与生产体验正面碰撞。

这篇分析对照官方口径与一线反馈,拆出 GPT-6.2 暴露出的评测与工程软肋,并给出可复用的验收方法:定义任务、记录结果、重复测试、人工复核。读完可以拿走两个判断——跑分不能替代生产体验,降价也不等于交付质量上升;具体指标、价格与模型信息,以原文为准。

1、跑分狂飙:官方信号为何诱人

1、跑分狂飙:官方信号为何诱人(AI 生成示意图)

1、跑分狂飙:官方信号为何诱人 · AI 生成示意图

官方信号很诱人:Astra 是新一代旗舰,Sol 面向日常主力;Astra API 单价下调 20%,智能体到科研的展示成绩刷新纪录。这说明 OpenAI 同时押注能力与成本,而非只做参数升级。

但“刷新纪录”只代表被展示任务上的突出表现,不能自动推出真实任务同样稳定。摘要没有列出测试集、样本或评分规则,相关跑分、条件与价格均应以原文为准。

观察维度 官方发布侧 一线开发者侧 应如何解读
产品定位 Astra 为新一代旗舰,Sol 为日常主力 现有评价主要指向 Astra 两个版本应分开验收,不能互相代替
成本 Astra API 单价下调 20% 摘要未给出实际调用成本反馈 标价下降不等于总成本同步下降
能力展示 智能体到科研刷新纪录 上线 8 分钟即被评价“基本不可用,不推荐” 榜单成绩不能替代真实任务验证
稳定性 摘要未给出稳定性细节 Mollick 称“非常不稳定且古怪” 稳定性需要重复测试与人工复核
代际进步 新一代旗舰登场 Mollick 认为自 GPT-4.5 以来首次未见明显进步 新旧模型应放进同一工作流比较

2、实测翻车:三位观察者踩下刹车

2、实测翻车:三位观察者踩下刹车(AI 生成示意图)

2、实测翻车:三位观察者踩下刹车 · AI 生成示意图

上线 8 分钟后,Matt Shumer 的“基本不可用,不推荐”,先给新模型定下冷水;Theo Browne 随后用长文《我为什么讨厌 GPT-6.2 Astra》继续表达反感;Ethan Mollick 的评价更直接:“非常不稳定且古怪”。摘要没有提供三人共用的测试条件,因此不能把这些话拼成精确分数,但它们共同暴露了同一矛盾:纸面刷新纪录,不等于开发者感知到可靠进步。

更尖锐的是,Mollick 认为,这是自 GPT-4.5 以来 OpenAI 前沿发布首次未见明显进步。对一款背负“漂亮反击”叙事的旗舰模型而言,这比一次普通吐槽更刺耳:问题不只是偶发失误,而是新版本是否提供了足够清晰、足够可感知的收益。

3、OpenAI 的软肋:高分与体感之间少了一环

这场争议最值得拆的不是“评测有没有做错”,而是纸面成绩如何进入生产验证:在典型任务、重复运行和人工验收之间建立闭环。摘要没有给出模型不稳定的具体原因,不能武断归因于某个技术环节;但“非常不稳定且古怪”至少说明,单次高分很难覆盖真实使用的长尾。

API 单价下调 20% 也需要重新解读。价格是采用成本,稳定性和返工却是隐性成本。如果输出需要频繁检查、纠正或重试,标价再低也可能把节省交还给开发者。模型选型不能只看排行榜与单价,还要看成功率、稳定性、修复成本和最终产出。

4、别靠榜单选模型:做一套自己的验收

最实用的做法,是把“我讨厌它”改写成可复核的记录。固定一组真实任务,让模型重复运行,每次输出都标记通过、失败与人工修正原因,再按同一标准复核。下面脚本读取 JSONL 记录,汇总通过率并列出失败项。

import json
from pathlib import Path

path = Path('gpt62_eval.jsonl')
records = []

if not path.exists():
    raise SystemExit(f'找不到评测文件:{path}')

with path.open('r', encoding='utf-8') as file:
    for line_no, line in enumerate(file, start=1):
        if not line.strip():
            continue

        item = json.loads(line)
        if not isinstance(item.get('task'), str):
            raise ValueError(f'第 {line_no} 行的 task 必须是字符串')
        if not isinstance(item.get('passed'), bool):
            raise ValueError(f'第 {line_no} 行的 passed 必须是布尔值')

        records.append(item)

if not records:
    raise SystemExit('没有可统计的评测记录')

passed = sum(item['passed'] for item in records)
total = len(records)
print(f'通过率:{passed}/{total}({passed / total:.1%})')

for item in records:
    if not item['passed']:
        note = item.get('note', '无备注')
        print('- ' + item['task'] + ':' + note)

数据每行用 task 描述任务,用 passed 标记布尔结果,note 可补充原因。脚本不依赖第三方库,适合把模型输出与人工判断分开留档。

写在最后

GPT-6.2 的矛盾很清楚:官方成绩单漂亮,一线反馈却冷淡。
跑分证明“能做成”,稳定性才决定“能交付”。
降价可以推动采用,但可靠体验才可能留住使用习惯。

我的判断:OpenAI 当前最缺的不是更亮眼的分数,而是让分数稳定转化为生产力的闭环。

相关阅读

想把这套流程装到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见站内服务页:查看技术服务。

文中链接

整理自本文的外部链接,请以来源页面说明为准。

GPT-6.2跑分狂飙却翻车:OpenAI的软肋不是分数 · 阿凡达博客