DeepSeek 开源推理框架 DeepInfer:V4.1 Flash 登顶 Code Arena 开源榜首
DeepSeek 把内部推理框架 DeepInfer 全面开源,补上服务链路的最后一环:调度与算子直接决定算力成本和电费。本文拆开这条链路,说明推理框架为什么值得自建、DeepSeek-V4.1-Flash-1017 在 Code Arena 拿到的 1670 分意味着什么,并给出落地前的四项自查与压测记录模板。
文章目录
10 月 20 日下午,DeepSeek 宣布把内部推理框架 DeepInfer 全面开源。此前它已经陆续开源了一系列大模型、TileLang 编译工具和推理算子库,这次补上的,是离生产环境最近的一层。
开源中国那篇的判断说得挺准:推理框架这个角色普通用户感受不到,但它每天都在起作用——海量用户调用时,是推理框架在统筹调度庞大的算力集群,它的效率直接决定 AI 服务的算力成本和电费。
这篇想讲清三件事:DeepInfer 站在链路的哪一环、它对做应用的人到底意味着什么,以及同期模型侧的成绩单。没展开的地方,我会注明以原文为准。
1、先把链路摆出来:DeepInfer 在哪一环
1、先把链路摆出来:DeepInfer 在哪一环 · AI 生成示意图
训练让模型「学有所成」,推理让模型「为人所用」,中间这层就是推理框架。DeepSeek 这次开源的顺序其实有讲究:
| 链路环节 | 负责什么 | DeepSeek 已开源的部分 |
|---|---|---|
| 模型权重 | 训练出来的大脑 | DeepSeek 系列模型 |
| 编译工具 | 把模型变成可执行的计算图 | TileLang 编译工具 |
| 推理算子库 | 提供高性能算子实现 | 已开源 |
| 服务框架 | 调度算力集群,决定吞吐与延迟 | DeepInfer(10 月 20 日全面开源) |
这一步最容易踩的坑,是把「推理框架」当成「又一个跑模型的小工具」。它不是给个人在笔记本上拉起模型用的命令行,而是服务链路:批处理怎么排、缓存怎么复用、并发怎么切,全在这一层。也正因为如此,它才直接挂在成本上。
2、官方口径:开源的是「能扛量」的那部分
2、官方口径:开源的是「能扛量」的那部分 · AI 生成示意图
DeepSeek 称,基于 DeepInfer,已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务;未来新模型的推理代码及后续优化也会持续更新(极客公园)。
证券时报援引的券商观点也值得记一笔:开源模型与 Agent 工具链的持续完善,有望降低应用开发成本,推动 AICoding 向游戏开发、3D 内容制作、企业软件及自动化工作流等场景扩展。
对自建推理服务的团队,拿到这一层源码的实际含义是:卡住你的可能不是模型,而是调度与算子,而这部分现在可读、可改、可 profile。具体模块划分、启动方式和调优开关,官方仓库 README 写得最准,这里不替它写。
3、模型这一侧的成绩单
3.1、榜单怎么读
推理框架的底气,一半来自它跑的模型。10 月 17 日推出的 DeepSeek-V4.1-Flash-1017(Max),在 10 月 19 日被 Arena 宣布登顶 Code Arena: WebDev 榜单,成为排名最高的开源模型(极客公园):
| 模型 | 开源 / 闭源 | 与 V4.1-Flash-1017 的关系 |
|---|---|---|
| DeepSeek-V4.1-Flash-1017(Max) | 开源 | 1670 分,本榜最高开源模型 |
| Kimi K3(Max) | 开源 | 被超过 |
| Mimo-V2.6 Flash | 开源 | 被超过 |
| Muse Spark 1.3(Max) | 闭源 | 被超过 |
| Claude Opus 5(High) | 闭源 | 被超过 |
| Grok 4.7(xHigh) | 闭源 | 被超过 |
| GPT-6 Sol(Max) | 闭源 | 仍领先 12 分 |
在软件工程能力的 DeepSWE v1.1 测试中,它的得分也超过 GPT-6 Astra、GPT-6.1 Sol 等对手。注意这里的说法是「开源模型里排名最高」,不是总分第一——GPT-6 Sol(Max)还领先 12 分。
4、真要试,先把这四件事问清楚
4.1、生态、版本、榜单、成本
生态热度:开源没几天,DeepInfer 就进了 GitHub 近 7 天 Star 增速榜——掘金的周榜速报把它列进了增速领先的 20 个项目之一。
版本节奏:官方明说新模型的推理代码与后续优化会持续更新,所以别抱着一份 release 文档用一年。
榜单和你的业务不是一回事:1670 分是 WebDev 这个场景的分,跟你的工单分类不是一个量纲。
成本要用自己的数:比较框架时记住比的是同一模型、同一并发下的吞吐和延迟。
4.2、最小起步动作
先跑通,再压测,最后才谈改。
# 环境:Linux + Python 3.x;依赖版本、目录结构以官方仓库 README 为准
git clone <DeepInfer 官方仓库地址>
cd <DeepInfer 仓库目录>
pip install -r requirements.txt
# 先跑通最小示例,再谈压测
python examples/<quickstart 脚本名>
# 压测记录模板(自用模板,不是官方脚本)
engine: DeepInfer
model: DeepSeek-V4.1-Flash-1017
metrics:
concurrency: [1, 8, 32, 64]
ttft_ms: null # 首 token 延迟
tpot_ms: null # 每 token 延迟
throughput_tps: null # 吞吐
baseline:
engine: <对照框架> # 同一模型、同一并发,跑一遍对照
写在最后
DeepSeek 这次开源的顺序值得记住:模型、编译工具、算子库、推理框架,一层一层把「服务能力」交出来。DeepInfer 的价值不在于又涨一波 star,而在于卡点从「模型能力」挪到了「工程能力」——而后者恰恰是大多数团队能自己动手的部分。
榜单分数会过期,框架版本会变,但「推理框架决定成本」这件事不会。
我的判断是:接下来半年,开源推理框架会变成新的竞争层,会跑模型的团队越来越多,会调推理的团队才是护城河。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。