ModelSphere开源断流续写网关
热点事件历史事件
ModelSphere开源断流续写网关
1 篇报道1 个报道来源9 天前更新
先了解这件事
AI 综述
模域ModelSphere以Apache-2.0开源了continuation_gateway：在客户端与SGLang/vLLM之间加一层有状态网关，断流后以chat-continue方式续写半截回复，让前端仍看到一条连续回答。 该网关默认关闭，由部署方按场景取舍。它依赖vLLM较新的--enable-scale-out功能（该功能默认关闭），并要求续写地址和中间的router同时转发四个接口。
AI 根据报道生成 · 9 天前更新
最新进展11月6日 14:25
ModelSphere 拆解流式推理断流续写：网关层如何接上未完成的回复报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- 掘金精选ModelSphere 拆解流式推理断流续写：网关层如何接上未完成的回复
ModelSphere 开源了 continuation_gateway，在客户端与 SGLang/vLLM 之间加一层有状态网关，用 chat-continue 方式把断流后的半截回复续上，前端仍看到一条连续回答。