掘金· 米小虾·· 25 天前精选AI 评分72
三层护栏:为什么只在提示词里写「不许做」拦不住提示注入
三层护栏:为什么只在提示词里写"不许做"没用
AI 导读
米小虾在 Agent 开发入门系列第 8 篇中提出护栏应分三层:上下文层控制模型能看到什么,执行层控制模型能做什么,数据层控制世界最终能变成什么样,并辅以人工干预。
借鉴点
能拿走三层护栏的分工清单和工具风险四维评级,落到 Agent 工具调用与凭证管理上;代价是数据层要人工设计评审,三层叠加抬高延迟。
来源:掘金 · juejin.cn