Hacker News · AI 讨论· gionag·· 18 天前精选AI 评分78
contextWatcher：用 Rust 写的 LLM 上下文窗口垃圾回收器
A garbage collector for LLM context windows, written in Rust
AI 导读
gionag 发布 contextWatcher（cw），一个本地 CPU 上运行、耗时不到 2ms 的 Rust 代理，用来替代 /compact 式压缩。
借鉴点
能拿走的是用 Rust 代理在 CPU 上做上下文去重、工具输出裁剪和尾部规则重钉，替代 /compact 式摘要压缩，代价是只适用于本地或自建 harness，且原文只给了四条机制名、没给配置和代码。
来源：Hacker News · AI 讨论 · news.ycombinator.com