AI 前沿
AI 前沿
从 llama.cpp 到 rec:本地专用推理引擎的取舍
rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。
同一主题下的文章、视频与资源。
rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。