Hacker News · 首页· coffeemug·· 20 天前精选AI 评分71
Ubicloud 用 vLLM 约束解码把 Kimi K2.6 工具调用准确率从 92% 提到 100%
Fixing Tool-Call Accuracy in vLLM
AI 导读
Ubicloud 工程师用 vLLM 0.31 的约束解码服务端开关,把 Kimi K2.6 和 DeepSeek V4 Flash 的工具调用 schema 准确率从 92% 提升到 100%。
借鉴点
用 vLLM 的 --tool-strict-level 开启约束解码,把 Kimi K2.6 工具调用 schema 准确率从 92% 拉到 100%,代价是部分模型默认开启会跑偏、语法翻译和投机解码有冲突 bug。
来源:Hacker News · 首页 · ubicloud.com