MiniMax M3.1 Flash 正式开源!428B 总参数只激活 23B,推理成本这次真下来了
MiniMax 开源 M3.1 Flash 权重:428B 总参数、23B 激活,72 小时处理超 100 万亿 Token。本文拆解稀疏注意力、QAT 量化这两组效率优化,并给出本地部署前的显存与选型清单。
文章目录
MiniMax 把 M3.1 Flash 的权重开源了,规格是 428B 总参数、23B 激活。上线 72 小时内,真实用户处理了超过 100 万亿 Token。
比起上一代 M3 能力全面提升,这次公告真正的主语是效率——全模型稀疏注意力和 QAT 量化两个词,出现在整份公告最前面的位置。如果你手上有想本地跑的模型,这篇值得看完。
1、先说结论:428B / 23B 是什么概念
1、先说结论:428B / 23B 是什么概念 · AI 生成示意图
大模型圈最近有个共同走向:总参数继续涨,激活参数不涨甚至在降。
| 维度 | 由什么决定 | 对你的影响 |
|---|---|---|
| 显存占用 | 激活参数(23B) | 决定你至少要几张卡 |
| 单次推理耗时 | 激活参数 | 决定它快不快 |
| 「知识容量」 | 总参数(428B) | 决定它懂多少东西 |
换句话说:428B 是它的知识量,23B 才是它每次动用的力气。这也是为什么这种结构能塞进相对有限的硬件里。
2、两组关键优化,分别解决什么
2、两组关键优化,分别解决什么 · AI 生成示意图
稀疏注意力:砍掉长上下文的算力开销
公告提到把前三个全注意力层替换为稀疏注意力。
注意力通常是二次方开销,长文本场景下它就是显存和耗时的大头——上下文越长,每多读一个字都要重新付一次平方级的代价。稀疏注意力让每个 token 只看该看的那几个邻居,代价自然下来了。
QAT 量化:让 8 位、4 位不掉点
QAT 是量化感知训练——不是训练完了再粗暴地压成 4 位(那会掉点),而是在训练阶段就考虑量化误差,让模型自己适应低精度。
这一步决定了你能不能在消费级硬件上跑它。
3、部署前先算三笔账
看到「开源」先别急着下权重,先算清楚这三件事:
# 1) BF16 权重体积 ≈ 参数量 × 2 字节
# 428B × 2B ≈ 856 GB —— 单卡放不下,多卡是必然
#
# 2) 量化后体积(粗算,实际以官方仓库为准)
# INT8 ≈ 428 GB
# INT4 ≈ 214 GB
#
# 3) 框架要求:MoE + 稀疏注意力都要较新版本
# vLLM / SGLang 的旧版本会直接报「不认识这个架构」
装之前确认三件事:显卡型号和数量、显存之间是否支持 NVLink 或高速互联、你拿它做什么(长文本推理 / 批量任务 / 当 Agent 后端)。用途不同,选型差别很大。
4、起一个服务
# OpenAI 兼容接口(示意,模型路径以官方仓库为准)
vllm serve /path/to/MiniMax-M3.1-Flash \
--served-model-name m31-flash \
--tensor-parallel-size 8 \
--max-model-len 32768
起服务之后,你现有的 OpenAI SDK 只要改一行 base_url 就能接上。
5、我的判断
这次的信号不在「又一个开源模型」,而在于开源的竞争维度变了。
半年前开源的重点是「把能力放出来」;现在重点是把成本压下来——稀疏注意力、量化、推理框架适配,这些都不是模型效果指标,而是能不能真正在生产里跑起来的指标。
另一个细节值得留意:72 小时 100 万亿 Token。开源模型的实际使用量,正在成为比跑分榜更真实的评价指标。谁真的被用起来了,看这个数比看评测更准。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。