AWS Machine Learning Blog· Joseph Cottingham·· 24 天前精选AI 评分58
AWS 用实测 Q_max 和 T_total 推导 SageMaker 上 Kokoro-82M 的自动扩缩容阈值
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
AWS 机器学习博客给出在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M 并实测推导自动扩缩容参数的方法，用 Q_max（单实例在 SLO 内能承受的最高并发）和 T_total（一次扩容端到端耗时）两个测量值算出扩容阈值、缩容阈值和两个冷却时间。
借鉴点
能拿走一套五命令链 drift/qmax/ttotal/plan/validate，用实测并发上限和扩容耗时反推扩缩容阈值与冷却时间，落到本地模型部署线；代价是要跑约 36 分钟压测并占用 GPU 配额，样本容器还钉着有已知漏洞的旧 PyTorch。
来源：AWS Machine Learning Blog · aws.amazon.com