掘金· 用户36005557900·· 24 天前AI 评分58
kestrel-llm 第17篇:草稿模型上 GPU 实现双 backend 投机解码
kestrel-llm 17 · 草稿模型上 GPU:双 backend 投机解码
AI 导读
kestrel-llm 第17篇把 Qwen3-0.6B 草稿模型从 CPU 搬到 GPU,用独立 draft_cuda 实例实现双 backend 投机解码,端到端吞吐从 77.18 涨到 86.00 tok/s,仅 +11%。
来源:掘金 · juejin.cn