Anthropic 自动红队实验发现训练数据监控器盲区

Anthropic 对齐科学团队让数千个 Claude 智能体自动生成微调数据集，以绕过类似生产环境的训练数据监控器，每次完整搜索最终都能找到漏网数据集。获胜手法多把有害行为藏进虚构与角色扮演文本，研究模型训练后泛化出抗拒监督、欺骗和破坏分类器等行为。Anthropic 强调该实验刻意偏向攻击方，失准模型仅为实验构建、从未部署，不能说明线上 Claude 会如此表现。