跳到正文
Hacker News · AI 讨论· usetrim·· 12 天前精选AI 评分71

Trim 开源本地代理,在请求到达 LLM 前压缩编码提示词

Trim - local proxy that compresses coding prompts before they reach your LLM

AI 导读

Trim 发布本地 OpenAI 兼容代理,把 Cursor、Continue、VS Code Chat、Claude Code 等客户端的 Base URL 指向 http://127.0.0.1:8888/v1,在请求发往上游模型前压缩提示词。

借鉴点

可把 Cursor、Claude Code 等客户端的 Base URL 指向本地 8888 端口的 OpenAI 兼容代理,用 AST 启发式压缩或本地 LLMLingua 的 Deep 模式缩短提示词;代价是 Deep 模式需先 bootstrap 装依赖,且压缩会改写用户正文。

来源:Hacker News · AI 讨论 · github.com