跳到正文
Hacker News · AI 讨论· alexmikhalev·· 26 天前AI 评分69

如何为 AI 智能体省下 token 开销:检索先摘要、按阶段分配模型、前置路由代理

How to save money on tokens for your AI agents

AI 导读

作者给出三条已在生产环境运行的做法来压低智能体 token 花费:先用便宜模型把检索结果摘要成带引用的紧凑答案再交给前沿模型,按 V 模型把高推理模型放在研究与评审两端、实现与测试循环交给高速模型,并在所有 provider 前加一层按关键词和价格路由的代理。

来源:Hacker News · AI 讨论 · terraphim.ai