AI 前沿
AI 前沿
从 llama.cpp 到 rec:本地专用推理引擎的取舍
rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。
同一主题下的文章、视频与资源。
rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。
蚂蚁数科发布决策模型 LingDT-Decision-1.0,给出 4B 与 27B 两个版本:同样任务下 Token 消耗降低超 90%、响应时效提升 10 倍,23 项开源基测综合评分超过 Microsoft-Decision-1 与 Jev 1.13。本文拆解决策模型与大模型的差异、专用推理引擎 Prism 提速 5.3 倍的原因,并给出落地前的四步自查与配置骨架。