决策模型 LingDT-Decision-1.0 发布:Token 消耗降超 90%,还配了专用推理引擎
蚂蚁数科发布决策模型 LingDT-Decision-1.0,给出 4B 与 27B 两个版本:同样任务下 Token 消耗降低超 90%、响应时效提升 10 倍,23 项开源基测综合评分超过 Microsoft-Decision-1 与 Jev 1.13。本文拆解决策模型与大模型的差异、专用推理引擎 Prism 提速 5.3 倍的原因,并给出落地前的四步自查与配置骨架。
文章目录
10 月 22 日,蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。定位写得很直接:为快速决策打造,在处理结构化决策任务时做到准确率更高、响应更快、Token 成本更低,尤其适合产业 AI 场景。
模型提供 4B 和 27B 两个版本,已在蚂蚁数科 DTMaaS 平台上线,开发者可限时免费体验。更有意思的是隔一天冒出来的另一条消息:决策模型也开始有专用推理引擎了。
这篇讲三件事:数字怎么读、为什么需要单独的推理引擎、落地时按什么顺序自查。
1、「决策模型」和大模型差在哪
1、「决策模型」和大模型差在哪 · AI 生成示意图
报道里的差异集中在三点:面向快速决策、面向结构化决策任务,以及原生多选与按序决策能力——后者被描述为相比其他决策模型的首创。
| 维度 | 通用大模型 | LingDT-Decision-1.0 |
|---|---|---|
| 典型任务 | 开放问答、文本与代码生成 | 结构化决策任务(客服、风控、金融判断) |
| 输出形态 | 一段自由文本 | 原生多选 / 按序决策 |
| 成本 | Token 消耗高 | 同样任务下降低超 90% |
| 时效 | 响应较慢 | 提升 10 倍 |
| 规格 | 各家尺寸不一 | 4B / 27B 两个版本 |
表格里那三个场景不是装饰,是蚂蚁数科团队做真实业务测试时用的场景。它也说明了决策模型的适用边界:判完就走的任务,而不是要长篇推理的任务。
2、把数字摆齐:90%、10 倍、23 项基测
2、把数字摆齐:90%、10 倍、23 项基测 · AI 生成示意图
蚂蚁数科团队在客服、风控、金融等真实业务场景测试的结果是:处理同样任务时,相比大语言模型,Token 消耗降低超 90%,响应时效提升 10 倍,并且性能表现更优。
2.1、每个数字的口径
| 指标 | 数值 | 口径 |
|---|---|---|
| Token 消耗 | 降低超 90% | 相比大语言模型,处理同样任务 |
| 响应时效 | 提升 10 倍 | 同上 |
| 开源评测 | 23 项基准综合评分领先 | 超过 Microsoft-Decision-1、Jev 1.13 等热门决策模型 |
| 规格 | 4B / 27B | DTMaaS 平台已上线,可限时免费体验 |
「同样任务」这四个字是全部数字的命门。换成一个需要长推理、多轮生成的复杂任务,90% 不会照搬;同理,23 项开源基测的综合评分也不能直接当成你自家业务的效果。
3、为什么决策模型需要自己的推理引擎
10 月 23 日,InfoQ 报道 StartLux 开源 Prism,称单卡最高提速 5.3 倍(InfoQ 原文)。
原因并不神秘:决策模型的计算图和 LLM 不一样,KV cache 的形态、批处理策略都不同,直接套用 LLM 推理框架,往往浪费掉大半硬件。
3.1、通用栈与专用栈的差别
| 环节 | 通用 LLM 推理栈 | 决策模型专用栈 |
|---|---|---|
| 计算图 | 自回归逐 token 生成 | 一次打分 / 枚举候选 |
| 批处理 | 按 token 长度动态打包 | 按候选集大小打包 |
| KV Cache | 长上下文复用是命根子 | 形态不同,复用价值也不同 |
| 典型瓶颈 | 显存与带宽 | 无效算力(通用框架跑决策图) |
至于 Prism 与 LingDT 是不是同一套技术栈,公开信息没说清,以原文为准。
4、落地时的四步自查
先确认任务形态:你的场景是不是「有明确对错、高频、要快」的判断?是,才轮到决策模型。
再算钱:把 Token 消耗和响应时效换算成单位成本,90% 的降幅在高频场景里是数量级的差别。
然后看要不要换引擎:模型换完,如果单卡吞吐没上去,瓶颈很可能已经转移到推理框架上。
最后才谈微调:这类任务的提升空间,往往更多在数据与规则侧,而不在参数侧。
4.1、一个最小可跑的骨架
配置和调用都建议先跑通最小闭环,再谈调优:
# 伪代码(Python):决策模型的标准调用姿势
# 接口名与字段名均为示意,实际以模型官方文档为准
def decide(case, model):
"""输入一个待判断的 case,返回结构化决策,而不是一段文本。"""
plan = model.plan(
options=case.options, # 候选动作列表
context=case.context, # 业务上下文
mode="multi" # 原生多选;按序决策改为 "sequential"
)
# multi:一次给出排序后的候选
# sequential:按顺序逐步决策
return plan.actions
# 决策服务配置骨架(示意,不是官方格式)
model: LingDT-Decision-1.0-4B # 4B / 27B 两个版本
task: customer_service_routing # 客服 / 风控 / 金融这类高频判断
decode:
mode: multi # native 多选;sequential 为按序决策
temperature: 0 # 决策任务通常要确定性输出
budget:
max_tokens: 512 # 决策任务不需要长输出
timeout_ms: 800
fallback:
on_low_confidence: rule_engine # 置信度不够时退回规则兜底
写在最后
决策模型这件事,本质是把「生成」换成「选择」:在大模型不够快、不够省、又要稳定输出的地方,用一个更小的专用模型换回 90% 的 Token 和 10 倍的时效。
我不确定它的能力边界能不能追上通用大模型,但在高频判断任务上,便宜、快、结果结构化本身就是产品优势。
我的判断是:决策模型会先在客服、风控、金融这类「判完就走」的场景跑出来,而不是在通用助手赛道。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。