如何搭建抗住海量 Agent 并发的大模型网关：语义缓存、双桶限流与三态熔断

作者针对多 Agent 批量上线后 429 限流雪崩与 Token 账单翻 5 倍的问题，给出一套纯 Python 标准库实现的大模型网关核心代码，包含向量语义缓存、RPM+TPM 双桶限流和三态熔断降级路由。