跳到正文
Hacker News · AI 讨论· RhinoDevel·· 22 天前精选AI 评分78

Poldi 开源本地离线语音助手,面向小显存消费级硬件

Poldi – Local offline AI assistant/"companion" for the GPU poor

AI 导读

RhinoDevel 在 GitHub 开源 Poldi,一个完全跑在本地硬件上的语音对话助手,用 C# 写服务端,配 Node.js 免手客户端和网页客户端,支持唤醒词、打断回答和终端模式。

借鉴点

能拿走一套低显存本地语音助手的完整配置,含各档模型对应的量化版本与采样参数、分类器与记忆模型分开加载、keepLoaded 关掉后用快照换显存;落到本地模型部署这条线,代价是要自己装 SearXNG、Caddy 和一堆编译依赖。

来源:Hacker News · AI 讨论 · github.com