跳到正文
掘金· Dmz丶·· 19 天前AI 评分60

前端转 AI 第 32 天:给 LLM 客户端加重试、超时、降级与限流

前端转 AI 100 天 Day 32:LLM 客户端工程化——重试、超时、降级、限流

AI 导读

作者在第 32 天给 LLM 客户端加了一层生产级封装,把调用失败分成网络、超时、429、5xx、4xx 五类,只对前四类重试,4xx 立即失败。重试逻辑优先读响应头 Retry-After,否则用指数退避加 ±20% 抖动,避免惊群;超时按连接 5s、读 30s、总 90s 分层,并支持按简单问答 15s、长文生成 90s 等场景传 per-request 超时。

来源:掘金 · juejin.cn