AI 服务线上推理异常故障排查与恢复实战

某 AI 推理服务线上突发大面积请求超时，P99 时延从 120ms 飙升至 8s，推理错误率一度达 12%，被定为 P1 级事故。根因是显存耗尽导致推理进程反复 OOM 重启、离线任务挤占在线资源、新扩实例模型未预热三类诱因叠加。通过紧急扩容 3 个推理实例、迁移离线任务、上线前预热与接入熔断降级完成恢复。