跳到正文
掘金· xlbbbcn·· 24 天前精选AI 评分72

AI Chat 作者用 Rust 给本地命令工具调用做七级风险评分

给模型装上手和脚之后,我把边界做成了七个风险等级

AI 导读

AI Chat 作者 xlbbbcn 在 Rust 侧实现了一套工具调用风险评分,把模型返回的 tool call 按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权后乘 100,映射到 L0 至 L6 七级,再按级决定放行、弹确认框或拒绝。

借鉴点

能拿走四维加权评分加七级阈值和分级处置表,把工具调用确认流程从命令白名单换成按风险分级;代价是纯启发式,挡不住故意绕过,真隔离还得靠容器。

来源:掘金 · juejin.cn