跳到正文
掘金· RobinDevNotes·· 23 天前精选AI 评分74

Redis 作者 antirez 的 ds4 本地推理引擎:128GB M5 Max 跑 2 比特 DeepSeek V4 Flash 约 39 token/s

Redis 作者做了 ds4,Mac 本地跑 DeepSeek Flash

AI 导读

Redis 作者 antirez 开发的本地推理引擎 ds4(DwarfStar)只针对 DeepSeek、GLM、Qwen 少数模型做优化,在 128GB M5 Max 上跑 2 比特 DeepSeek V4 Flash(约 81 GiB)时 2K 上下文生成约 39 token/s,64K 上下文降到约 28 token/s。

借鉴点

能拿走 ds4 的构建命令、SSD 流式参数和 Claude Code 包装脚本,把本地 Mac 接成编码 Agent 后端;代价是 2 比特量化激进、beta 状态,长上下文生成速度会掉。

来源:掘金 · juejin.cn