掘金· 用户36005557900·· 21 天前AI 评分60
Kestrel_VLLM 第 19 篇:把 KV 复用迁移到 GPU,改 per-state 镜像并堵住两处静默分叉
Kestrel_VLLM - 19 · KV 复用迁移到 GPU(上):per-state 镜像与同类静默分叉
AI 导读
Kestrel_VLLM 系列第 19 篇记录了把 CPU 侧 KV 调度能力迁到 GPU 的第一步,把原本全后端单份的 device KV 镜像改成 per-state 槽位池(VC_KV_SLOTS 初值 4 后抬到 8),并补上前缀复用的 D2D 镜像同步。
来源:掘金 · juejin.cn