跳到正文
Cloudflare AI· Ryan Skidmore·· 28 天前精选AI 评分75

Cloudflare 把 AI 代码审查单次成本从 2.43 美元降到 0.77 美元

Cutting our inference bill by 68% by being obsessive about optimization

AI 导读

Cloudflare 把 AI 代码审查的平均成本从 2.43 美元降到 0.77 美元,降幅 68%,中位耗时从 4 分 09 秒缩短到 1 分 32 秒。节省中约 40% 来自代码改动,其余来自模型与 effort 组合的调整,其中最大单项是让每个会话的首次请求真正命中前缀缓存。

借鉴点

可拿走三招:给共享前缀单独设缓存断点、把参考索引塞进 prompt 免掉前几轮读文件、多 reviewer 共用同一前缀由第一个写缓存其余读。前提是接受首请求多等最多 20 秒,且要逐档核对 effort 降级后是否漏掉真问题。

来源:Cloudflare AI · blog.cloudflare.com