从 llama.cpp 到 rec:本地专用推理引擎的取舍
rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。
文章目录
原文:一天一个开源项目(第246篇):rec —— Recursive 自研的本地推理引擎,在 Mac 上跑 Flint 编码模型,称比 llama.cpp 快 1.4–2.6 倍
本地跑模型的选项已经不少:llama.cpp、Ollama、LM Studio。rec 走的是反方向——不做通用,只服务一个模型和一类场景,它是 Recursive 公司专门为自家 Flint 模型写的推理引擎。
先说体量:Apache-2.0,151 Stars、16 Forks、6 个 commits、7 个 Issue,很新很小。所以这篇的重点不是「多快」,而是三件更值得带走的事:专用引擎的取舍怎么算账、怎么在 Mac 上跑起来、以及那个「1.4–2.6 倍」该怎么复测。
1、专用换通用:取舍写在明面上
1、专用换通用:取舍写在明面上 · AI 生成示意图
通用运行时要兼容大量模型结构、量化格式和后端,代价是难以对某一个模型做到极致。rec 反过来:只服务 Flint、只服务 Apple Silicon、只优化单会话解码。Flint 的文档定位是「fast, local agentic coding」,本地能跑,云端也能跑。
| 维度 | rec | llama.cpp / Ollama / LM Studio |
|---|---|---|
| 支持模型 | 专用于 Flint | 通用,覆盖大量模型 |
| 硬件 | 仅 M4 Pro / M5 Pro / M5 Max,48 GB 起 | 范围广得多 |
| 并发 | 针对单会话优化 | 取决于具体运行时 |
| 开箱即用的编码环境 | 自带 pi / OpenCode 一键启动 | 需要自行配置 |
| 成熟度 | 很新,6 个 commits | 久经考验 |
好处和代价都很直白:只支持一个模型,换模型就用不了;只支持高端 Mac,可以假设统一内存带宽够用;只优化单会话,解码延迟最优,但多智能体并行不是它的主场。
2、48 GB 是入场券
2、48 GB 是入场券 · AI 生成示意图
硬件门槛不低:Apple Silicon 的 M4 Pro / M5 Pro / M5 Max,至少 48 GB 统一内存,约 30 GB 磁盘;要用 pi 还额外需要 Node.js 22 和 npm。生产环境别裸跑 curl | bash,先读一眼 install.sh。
# 安装:程序在 ~/.local/bin,数据在 ~/.local/share/rec
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bash
rec doctor # 自检硬件与安装
rec launch pi # 官方推荐:自动下载模型并拉起 harness
rec launch opencode # 也可以用 OpenCode
rec status # 服务还在跑时,关终端它继续跑
rec stop
3、两种用法:开箱即用,还是接进自己的客户端
开箱即用是 rec launch pi,一条命令得到「本地模型 + 编码 harness」的完整环境,代码不出本机。官方特别提醒:rec 针对单会话优化,要跑多 agent 并行,得看文档里的其他运行方式。
把本地模型当服务用就 rec serve,终端里出现 flint is ready. 之后可以从另一个终端连进来。它同时给两套兼容接口:OpenAI 兼容走 /v1/chat/completions,Anthropic 兼容走 /v1/messages,把 ANTHROPIC_BASE_URL 指到本地即可,现有客户端基本不用改。
rec serve
rec launch --args pi # 只打印环境变量与命令行,不执行
# OpenAI 兼容:base URL http://127.0.0.1:11500/v1,模型名 flint
curl -fsS http://127.0.0.1:11500/v1/chat/completions \
-H "Authorization: Bearer $(rec auth token)" \
-H 'Content-Type: application/json' \
-d '{"model":"flint","messages":[{"role":"user","content":"Say hello."}],"max_tokens":128}'
常用命令记这几个就够:rec launch 起服务并开 harness,rec exec 在 rec 环境里跑命令,rec auth token 打印本地 API key,rec pull 只下载模型,rec update 升级,rec uninstall 清理干净。
4、1.4–2.6 倍这个数怎么读
这是项目自测结果:在 M4 Pro 上与 llama.cpp 相比吞吐为其 1.4–2.6 倍,上下文长度覆盖 1K 到 252K。条件是 4-bit 权重、输出 1024 个 token、每个上下文长度跑五次、统计范围不含 prefill。
| 注意事项 | 说明 |
|---|---|
| 只算解码 | 编码智能体场景里长上下文 prefill 常占大头,这个数不含它 |
| 单一机型 | 只给了 M4 Pro 48 GB 的数据 |
| 对手细节缺失 | llama.cpp 的版本、编译选项、量化方式没有提供 |
| 模型未必相同 | rec 跑的是 Flint,是否同模型同量化对比未说明 |
稳妥做法是当成值得自己复测的线索,不是定论。复测时按它给的条件来,并且把 prefill 时间单独记下来,否则很容易在偏解码的场景里被数字带偏。
5、踩坑清单
硬件门槛高、模型绑定、只优化单会话、项目很早期(6 个 commits,接口与行为都可能变)、curl | bash 安装要谨慎、文档站信息有限(模型架构、上下文长度、发布日期还得去看模型卡)。
另外,rec 没有公开引擎内部到底做了哪些优化,项目页和文档站都没说明,别猜原理,要看 engine 目录源码。
写在最后
rec 最有价值的不是那个倍数,而是把「专用引擎 vs 通用运行时」这笔账摆到了明面上:用通用性换极致速度,硬件门槛、单会话限制、模型绑定都是明码标价的成本。
我的判断是:为一个模型、一个硬件、一个场景做专用推理会越来越常见——通用运行时要覆盖的组合爆炸,专用方案只要服务好一个场景就够了。但 rec 现在更适合当参考实现和评测基线,6 个 commits 说的就是这个意思。
相关阅读
想把 AI 工具接进自己的团队、或把这套内容流水线搬到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见:查看技术服务
文中链接
整理自本文的外部链接,请以来源页面说明为准。