跳到正文
Hacker News · AI 讨论· batrapulkit1103·· 25 天前精选AI 评分71

Squidbrake 用 12 起真实 AI 智能体事故回放测试自家开源拦截工具

Show HN: We replayed 12 real AI agent incidents against our open-source tool

AI 导读

Squidbrake 0.14.2 把 12 起公开报道的 AI 智能体删数据、泄密、乱花钱事故回放到自家规则上,15 个有害动作拦下 14 个,其中 3 个直接阻断、11 个转人工审批、1 个未拦住。

借鉴点

可复用的做法是把 12 起公开事故和 62 段会话做成可跑脚本,逐步标注 harm/routine/sensitive 再对比四种拦截策略;代价是回放命令多为作者重建,且审批人由脚本扮演,误报率才是真实成本。

来源:Hacker News · AI 讨论 · squidbrake.com