跳到正文
Hacker News · AI 讨论· guk0731·· 16 天前精选AI 评分78

Turnbook 0.10.0 换用 EmbeddingGemma 检索模型,LongMemEval 同精度下记忆 token 从 26.3k 降到 3.1k

Same agent-memory accuracy with 8x fewer tokens by changing the embedding model

AI 导读

Turnbook 发布 0.10.0,把新安装的检索模型从 mpnet 换成 EmbeddingGemma,在 LongMemEval 全部 500 题上以 3.1k 记忆 token 达到 91.8% 准确率,此前 mpnet 要 26.3k token 才有同样成绩。

借鉴点

把记忆写入从 LLM 摘要换成逐字存 SQLite 加本地 EmbeddingGemma 检索,省掉写入 token;代价是首次安装要后台重嵌旧记忆,且多用户服务端还没做。

来源:Hacker News · AI 讨论 · github.com