跳到正文
Hacker News · AI 讨论· dex0shubham·· 24 天前精选AI 评分74

Pith 发布 LLM 输出 token 压缩代理,判据不达标就拒绝改动

Show HN: Pith – a proxy that cuts LLM output tokens, and refuses when it can't

AI 导读

Pith 是一个压缩 LLM 输出 token 的代理,它按 provider、模型和 system prompt 把请求分成路由,攒够 50 条样本后回放并让 judge 模型逐条对比基线,只有候选配置达到基线自一致水平、且节省能在一个月内抵掉 sweep 成本时才固定该配置,否则给出理由拒绝。

借鉴点

可拿它的 sweep 加 judge 加 holdout 流程给自家路由压输出 token,前提是每条路由先攒够 50 条样本,且省下的量要在一个月内抵掉 sweep 成本,否则会被判拒绝。

来源:Hacker News · AI 讨论 · github.com