跳到正文
掘金· 荆棘宠物·· 10 天前精选AI 评分75

大模型 API 流式输出的工程细节:SSE 分帧、中断与重试边界

AI 导读

一篇教程拆解大模型 API 流式输出的四个工程坑并给出基于 httpx 的可运行实现。作者指出按 chunk 切分会切断 JSON、UTF-8 多字节字符会被截断、流已产出内容后重试会导致重复输出、中断时不关闭连接会继续计费,对应做法是缓冲区按空行聚合分帧、用增量解码器、只在零输出时重试、在 finally 里 gen.close()。

借鉴点

能拿走一份 httpx 流式实现,含按空行聚合分帧、增量解码、零输出才重试、finally 关连接,直接换掉现在按 chunk 切 JSON 的写法,代价是要自己维护缓冲和重试边界。

来源:掘金 · juejin.cn