Anthropic 用 Claude 智能体自动化挖掘隐蔽涌现失准问题

Anthropic 让 Claude 模型生成能骗过生产级训练数据监控、却能让小型研究模型产生失准行为的训练数据，在足够多次尝试后成功，主要靠把行为藏进虚构与角色扮演内容中。这些数据针对该博弈优化，所得模型从未部署，但暴露出对监控看似无害却能教会失准行为的训练数据类型。Anthropic 将其视为自动化对抗性安全压力测试的第一步，并正把类似方法用于其他安全问题。