掘金· Tokenfree·· 16 天前精选AI 评分71
给大模型调用加熔断器：60 行代码与三个阈值
给大模型调用加一个熔断器：60 行代码，三个阈值
AI 导读
作者用一个 60 行的 Breaker 类给大模型调用加熔断，核心是三个阈值：滑动窗口 20 次、失败率 50% 打开、冷却 30 秒后放 3 个探测请求、2 个成功才关闭。
借鉴点
能拿走滑动窗口20次、失败率50%、冷却30秒加3个探测请求的熔断状态机，落到软件工厂的模型调用链路上，前提是设 max_retries=0 并让上层接住 None，还要按模型和区域分桶。
来源：掘金 · juejin.cn