标签:llama.cpp

同一主题下的文章、视频与资源。

1 篇内容
AI 前沿

从 llama.cpp 到 rec:本地专用推理引擎的取舍

rec 是 Recursive 为自家 Flint 模型写的专用推理引擎,只服务 Apple Silicon 单会话解码,宣称比 llama.cpp 快 1.4–2.6 倍。本文讲清它的硬件门槛与安装、两种用法、OpenAI 与 Anthropic 双兼容本地接口怎么接,并逐条拆解那个倍数的测试条件和四个容易被忽略的边界,最后给出可复现的基准测试思路。

阿凡达的技术博客