跳到正文
Hamel Husain· Hamel Husain·· 27 天前AI 评分62

如何用决策模型做评测:调阈值、比成本、做概率校准

How To Use Decision Models for Evals

AI 导读

Hamel Husain 用 100 条公寓租赁客服 trace 实测 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1/d1-ultra、Cloudflare Clef Flash 和 OpenAI Decisions(GPT-6 Luna)五类决策模型,指出直接用默认 0.50 阈值会漏掉大量失败。

来源:Hamel Husain · hamel.dev