DeepSeek 开源推理框架 DeepInfer:V4.1 Flash 登顶 Code Arena 开源榜首

DeepSeek 把内部推理框架 DeepInfer 全面开源,补上服务链路的最后一环:调度与算子直接决定算力成本和电费。本文拆开这条链路,说明推理框架为什么值得自建、DeepSeek-V4.1-Flash-1017 在 Code Arena 拿到的 1670 分意味着什么,并给出落地前的四项自查与压测记录模板。

文章目录

原文:DeepSeek 开源推理框架 DeepInfer:服务链路的最后一块拼图 · 开源中国

10 月 20 日下午,DeepSeek 宣布把内部推理框架 DeepInfer 全面开源。此前它已经陆续开源了一系列大模型、TileLang 编译工具和推理算子库,这次补上的,是离生产环境最近的一层。

开源中国那篇的判断说得挺准:推理框架这个角色普通用户感受不到,但它每天都在起作用——海量用户调用时,是推理框架在统筹调度庞大的算力集群,它的效率直接决定 AI 服务的算力成本和电费。

这篇想讲清三件事:DeepInfer 站在链路的哪一环、它对做应用的人到底意味着什么,以及同期模型侧的成绩单。没展开的地方,我会注明以原文为准。

1、先把链路摆出来:DeepInfer 在哪一环

1、先把链路摆出来:DeepInfer 在哪一环(AI 生成示意图)

1、先把链路摆出来:DeepInfer 在哪一环 · AI 生成示意图

训练让模型「学有所成」,推理让模型「为人所用」,中间这层就是推理框架。DeepSeek 这次开源的顺序其实有讲究:

链路环节 负责什么 DeepSeek 已开源的部分
模型权重 训练出来的大脑 DeepSeek 系列模型
编译工具 把模型变成可执行的计算图 TileLang 编译工具
推理算子库 提供高性能算子实现 已开源
服务框架 调度算力集群,决定吞吐与延迟 DeepInfer(10 月 20 日全面开源)

这一步最容易踩的坑,是把「推理框架」当成「又一个跑模型的小工具」。它不是给个人在笔记本上拉起模型用的命令行,而是服务链路:批处理怎么排、缓存怎么复用、并发怎么切,全在这一层。也正因为如此,它才直接挂在成本上。

2、官方口径:开源的是「能扛量」的那部分

2、官方口径:开源的是「能扛量」的那部分(AI 生成示意图)

2、官方口径:开源的是「能扛量」的那部分 · AI 生成示意图

DeepSeek 称,基于 DeepInfer,已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务;未来新模型的推理代码及后续优化也会持续更新(极客公园)。

证券时报援引的券商观点也值得记一笔:开源模型与 Agent 工具链的持续完善,有望降低应用开发成本,推动 AICoding 向游戏开发、3D 内容制作、企业软件及自动化工作流等场景扩展。

对自建推理服务的团队,拿到这一层源码的实际含义是:卡住你的可能不是模型,而是调度与算子,而这部分现在可读、可改、可 profile。具体模块划分、启动方式和调优开关,官方仓库 README 写得最准,这里不替它写。

3、模型这一侧的成绩单

3.1、榜单怎么读

推理框架的底气,一半来自它跑的模型。10 月 17 日推出的 DeepSeek-V4.1-Flash-1017(Max),在 10 月 19 日被 Arena 宣布登顶 Code Arena: WebDev 榜单,成为排名最高的开源模型(极客公园):

模型 开源 / 闭源 与 V4.1-Flash-1017 的关系
DeepSeek-V4.1-Flash-1017(Max) 开源 1670 分,本榜最高开源模型
Kimi K3(Max) 开源 被超过
Mimo-V2.6 Flash 开源 被超过
Muse Spark 1.3(Max) 闭源 被超过
Claude Opus 5(High) 闭源 被超过
Grok 4.7(xHigh) 闭源 被超过
GPT-6 Sol(Max) 闭源 仍领先 12 分

在软件工程能力的 DeepSWE v1.1 测试中,它的得分也超过 GPT-6 Astra、GPT-6.1 Sol 等对手。注意这里的说法是「开源模型里排名最高」,不是总分第一——GPT-6 Sol(Max)还领先 12 分。

4、真要试,先把这四件事问清楚

4.1、生态、版本、榜单、成本

生态热度:开源没几天,DeepInfer 就进了 GitHub 近 7 天 Star 增速榜——掘金的周榜速报把它列进了增速领先的 20 个项目之一。

版本节奏:官方明说新模型的推理代码与后续优化会持续更新,所以别抱着一份 release 文档用一年。

榜单和你的业务不是一回事:1670 分是 WebDev 这个场景的分,跟你的工单分类不是一个量纲。

成本要用自己的数:比较框架时记住比的是同一模型、同一并发下的吞吐和延迟。

4.2、最小起步动作

先跑通,再压测,最后才谈改。

# 环境:Linux + Python 3.x;依赖版本、目录结构以官方仓库 README 为准
git clone <DeepInfer 官方仓库地址>
cd <DeepInfer 仓库目录>
pip install -r requirements.txt

# 先跑通最小示例,再谈压测
python examples/<quickstart 脚本名>
# 压测记录模板(自用模板,不是官方脚本)
engine: DeepInfer
model: DeepSeek-V4.1-Flash-1017
metrics:
  concurrency: [1, 8, 32, 64]
  ttft_ms: null          # 首 token 延迟
  tpot_ms: null          # 每 token 延迟
  throughput_tps: null   # 吞吐
baseline:
  engine: <对照框架>     # 同一模型、同一并发,跑一遍对照

写在最后

DeepSeek 这次开源的顺序值得记住:模型、编译工具、算子库、推理框架,一层一层把「服务能力」交出来。DeepInfer 的价值不在于又涨一波 star,而在于卡点从「模型能力」挪到了「工程能力」——而后者恰恰是大多数团队能自己动手的部分。

榜单分数会过期,框架版本会变,但「推理框架决定成本」这件事不会。

我的判断是:接下来半年,开源推理框架会变成新的竞争层,会跑模型的团队越来越多,会调推理的团队才是护城河。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

DeepSeek 开源推理框架 DeepInfer:V4.1 Flash 登顶 Code Arena 开源榜首 · 阿凡达博客