跳到正文
Hacker News · AI 讨论· archons·· 25 天前精选AI 评分78

CTGT 研究:开启确定性推理后,策略解析流水线仍产出四种不同结果

Deterministic LLM Inference Did Not Make Our Pipeline Deterministic

AI 导读

CTGT Engineering 在 Qwen3.8-27B 上开启 SGLang 确定性推理后,同一份银行政策手册跑四遍仍提交了 32、31、33、33 条不同义务,其中一次漏掉升级到合规负责人的规则。

借鉴点

能拿走一套可复用的排查协议和 Concordance 工具,定位同文档多次运行结果不一致的源头,落到知识沉淀和软件工厂线;代价是要接受它只测一致性、不测规则正确性,且结论来自单文档五次运行。

来源:Hacker News · AI 讨论 · ctgt.ai