跳到正文
掘金· 冬奇Lab·· 22 天前AI 评分22

rec:Recursive 为 Flint 编码模型自研的 Mac 本地推理引擎,称比 llama.cpp 快 1.4–2.6 倍

一天一个开源项目(第246篇):rec —— Recursive 自研的本地推理引擎,在 Mac 上跑 Flint 编码模型,称比 llama.cpp 快 1.4–2.6 倍

AI 导读

Recursive 开源了专为自家 Flint 编码模型打造的本地推理引擎 rec,仅支持 M4 Pro、M5 Pro、M5 Max 等 Apple Silicon Mac,需 48 GB 统一内存。

来源:掘金 · juejin.cn