跳到正文
Hacker News · 首页· coffeemug·· 20 天前精选AI 评分71

Ubicloud 用 vLLM 约束解码把 Kimi K2.6 工具调用准确率从 92% 提到 100%

Fixing Tool-Call Accuracy in vLLM

AI 导读

Ubicloud 工程师用 vLLM 0.31 的约束解码服务端开关,把 Kimi K2.6 和 DeepSeek V4 Flash 的工具调用 schema 准确率从 92% 提升到 100%。

借鉴点

用 vLLM 的 --tool-strict-level 开启约束解码,把 Kimi K2.6 工具调用 schema 准确率从 92% 拉到 100%,代价是部分模型默认开启会跑偏、语法翻译和投机解码有冲突 bug。

来源:Hacker News · 首页 · ubicloud.com