跳到正文
Hacker News · AI 讨论· ebarghil·· 12 天前AI 评分34

LEANOX.AI 以早期访问形式推出 AI 网关,重复 token 成本最高降 90%

We are rolling out LEANOX.AI as early access

AI 导读

LEANOX.AI 以早期访问形式推出 AI 网关,部署在应用与模型提供商之间,通过只缓存真正会被复用的内容,让重复 token 成本最高降低 90%。接入只需把 SDK 的 base_url 指向 LEANOX.AI 并填入专属 key,代码、SDK 和各家提供商账户均保持不变。

来源:Hacker News · AI 讨论 · leanox.ai