标签:推理引擎

同一主题下的文章、视频与资源。

2 篇内容
AI 前沿

从 llama.cpp 到 rec:本地专用推理引擎的取舍

rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。

AI 前沿

决策模型 LingDT-Decision-1.0 发布:Token 消耗降超 90%,还配了专用推理引擎

蚂蚁数科发布决策模型 LingDT-Decision-1.0,给出 4B 与 27B 两个版本:同样任务下 Token 消耗降低超 90%、响应时效提升 10 倍,23 项开源基测综合评分超过 Microsoft-Decision-1 与 Jev 1.13。本文拆解决策模型与大模型的差异、专用推理引擎 Prism 提速 5.3 倍的原因,并给出落地前的四步自查与配置骨架。

阿凡达的技术博客