决策模型 LingDT-Decision-1.0 发布:Token 消耗降超 90%,还配了专用推理引擎

蚂蚁数科发布决策模型 LingDT-Decision-1.0,给出 4B 与 27B 两个版本:同样任务下 Token 消耗降低超 90%、响应时效提升 10 倍,23 项开源基测综合评分超过 Microsoft-Decision-1 与 Jev 1.13。本文拆解决策模型与大模型的差异、专用推理引擎 Prism 提速 5.3 倍的原因,并给出落地前的四步自查与配置骨架。

文章目录

原文:又一国产决策模型发布!准确率超过微软和Jev等决策模型 · 量子位

10 月 22 日,蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。定位写得很直接:为快速决策打造,在处理结构化决策任务时做到准确率更高、响应更快、Token 成本更低,尤其适合产业 AI 场景。

模型提供 4B 和 27B 两个版本,已在蚂蚁数科 DTMaaS 平台上线,开发者可限时免费体验。更有意思的是隔一天冒出来的另一条消息:决策模型也开始有专用推理引擎了。

这篇讲三件事:数字怎么读、为什么需要单独的推理引擎、落地时按什么顺序自查。

1、「决策模型」和大模型差在哪

1、「决策模型」和大模型差在哪(AI 生成示意图)

1、「决策模型」和大模型差在哪 · AI 生成示意图

报道里的差异集中在三点:面向快速决策、面向结构化决策任务,以及原生多选与按序决策能力——后者被描述为相比其他决策模型的首创。

维度 通用大模型 LingDT-Decision-1.0
典型任务 开放问答、文本与代码生成 结构化决策任务(客服、风控、金融判断)
输出形态 一段自由文本 原生多选 / 按序决策
成本 Token 消耗高 同样任务下降低超 90%
时效 响应较慢 提升 10 倍
规格 各家尺寸不一 4B / 27B 两个版本

表格里那三个场景不是装饰,是蚂蚁数科团队做真实业务测试时用的场景。它也说明了决策模型的适用边界:判完就走的任务,而不是要长篇推理的任务。

2、把数字摆齐:90%、10 倍、23 项基测

2、把数字摆齐:90%、10 倍、23 项基测(AI 生成示意图)

2、把数字摆齐:90%、10 倍、23 项基测 · AI 生成示意图

蚂蚁数科团队在客服、风控、金融等真实业务场景测试的结果是:处理同样任务时,相比大语言模型,Token 消耗降低超 90%,响应时效提升 10 倍,并且性能表现更优。

2.1、每个数字的口径

指标 数值 口径
Token 消耗 降低超 90% 相比大语言模型,处理同样任务
响应时效 提升 10 倍 同上
开源评测 23 项基准综合评分领先 超过 Microsoft-Decision-1、Jev 1.13 等热门决策模型
规格 4B / 27B DTMaaS 平台已上线,可限时免费体验

「同样任务」这四个字是全部数字的命门。换成一个需要长推理、多轮生成的复杂任务,90% 不会照搬;同理,23 项开源基测的综合评分也不能直接当成你自家业务的效果。

3、为什么决策模型需要自己的推理引擎

10 月 23 日,InfoQ 报道 StartLux 开源 Prism,称单卡最高提速 5.3 倍(InfoQ 原文)。

原因并不神秘:决策模型的计算图和 LLM 不一样,KV cache 的形态、批处理策略都不同,直接套用 LLM 推理框架,往往浪费掉大半硬件。

3.1、通用栈与专用栈的差别

环节 通用 LLM 推理栈 决策模型专用栈
计算图 自回归逐 token 生成 一次打分 / 枚举候选
批处理 按 token 长度动态打包 按候选集大小打包
KV Cache 长上下文复用是命根子 形态不同,复用价值也不同
典型瓶颈 显存与带宽 无效算力(通用框架跑决策图)

至于 Prism 与 LingDT 是不是同一套技术栈,公开信息没说清,以原文为准。

4、落地时的四步自查

先确认任务形态:你的场景是不是「有明确对错、高频、要快」的判断?是,才轮到决策模型。

再算钱:把 Token 消耗和响应时效换算成单位成本,90% 的降幅在高频场景里是数量级的差别。

然后看要不要换引擎:模型换完,如果单卡吞吐没上去,瓶颈很可能已经转移到推理框架上。

最后才谈微调:这类任务的提升空间,往往更多在数据与规则侧,而不在参数侧。

4.1、一个最小可跑的骨架

配置和调用都建议先跑通最小闭环,再谈调优:

# 伪代码(Python):决策模型的标准调用姿势
# 接口名与字段名均为示意,实际以模型官方文档为准

def decide(case, model):
    """输入一个待判断的 case,返回结构化决策,而不是一段文本。"""
    plan = model.plan(
        options=case.options,      # 候选动作列表
        context=case.context,      # 业务上下文
        mode="multi"               # 原生多选;按序决策改为 "sequential"
    )
    # multi:一次给出排序后的候选
    # sequential:按顺序逐步决策
    return plan.actions
# 决策服务配置骨架(示意,不是官方格式)
model: LingDT-Decision-1.0-4B      # 4B / 27B 两个版本
task: customer_service_routing     # 客服 / 风控 / 金融这类高频判断
decode:
  mode: multi                      # native 多选;sequential 为按序决策
  temperature: 0                   # 决策任务通常要确定性输出
budget:
  max_tokens: 512                  # 决策任务不需要长输出
  timeout_ms: 800
fallback:
  on_low_confidence: rule_engine   # 置信度不够时退回规则兜底

写在最后

决策模型这件事,本质是把「生成」换成「选择」:在大模型不够快、不够省、又要稳定输出的地方,用一个更小的专用模型换回 90% 的 Token 和 10 倍的时效。

我不确定它的能力边界能不能追上通用大模型,但在高频判断任务上,便宜、快、结果结构化本身就是产品优势。

我的判断是:决策模型会先在客服、风控、金融这类「判完就走」的场景跑出来,而不是在通用助手赛道。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

决策模型 LingDT-Decision-1.0 发布:Token 消耗降超 90%,还配了专用推理引擎 · 阿凡达博客