Hacker News · AI 讨论· coylone·· 11 天前AI 评分62
KTMS 实测 Go 与 Python 写 LLM 网关的差距：延迟、吞吐、内存与 CPU
Go vs. Python for an LLM Gateway: What We Measured
AI 导读
KTMS 团队用开源压测台在 4 vCPU 机器上对比自研 Go 网关与 LiteLLM Proxy，Go 版中位延迟约 0.6 ms、首 token 增加约 0.7 ms，LiteLLM 分别约 8.5 ms 和 160 ms。
来源：Hacker News · AI 讨论 · blog.ai-process.dev