掘金· 模域ModelSphere·· 9 天前精选AI 评分78
ModelSphere 拆解流式推理断流续写：网关层如何接上未完成的回复
长回复吐到一半断了，流式推理还能接着写吗？
AI 导读
ModelSphere 开源了 continuation_gateway，在客户端与 SGLang/vLLM 之间加一层有状态网关，用 chat-continue 方式把断流后的半截回复续上，前端仍看到一条连续回答。
借鉴点
能拿走 chat-continue 的续写请求构造（continue_final_message 加 add_generation_prompt 关掉）和 usage 按字符系数估算的公式，落到本地模型部署的网关层；代价是每个模型乘引擎组合都得单独验证，vLLM 上部分组合要退到 render/tokenize/generate/derender 四接口路径。
来源：掘金 · juejin.cn