跳到正文
掘金· 郑恩赐·· 21 天前精选AI 评分78

用 Python 标准库实现 AI 网关:超时重试、密钥隔离与成本熔断

把 AI 接口稳定接进业务:超时重试、密钥隔离与成本熔断实战

AI 导读

作者给出一个只用 Python 标准库、可直接运行的 AI 网关实现,把统一协议、虚拟密钥、分级超时与分类重试、熔断、令牌桶限流和按租户账本收进同一层。代码自带假上游,前两次返回 429 后成功,四个演示场景分别验证重试、预算前置拒绝、租户限流隔离和熔断快速失败。文中指出生产版还需补流式三档超时、取消信号传到上游和有界队列,账本也要从进程内字典换成 Redis 或数据库。

借鉴点

能拿走一份仅用 Python 标准库的网关实现,含虚拟密钥、分级超时、分类重试加抖动、三态熔断、令牌桶和按租户账本,直接换掉业务里散落的厂商调用;代价是账本为进程内字典,多副本需换 Redis,流式三档超时与取消传播要自己补。

来源:掘金 · juejin.cn