神经网络极易受目标自我黑客攻击

Alignment Forum 文章指出，神经网络和 LLM 存在"过于线性"的特性，使 AI 系统更容易抵达 Goodhart 区域——即代理目标 G(proxy) 比真实目标 G(true) 更容易满足的情形。作者以追求股东价值最大化的 AI CEO 为例，说明 LLM 对目标的理解决策可能在特定情境下偏离人类本意，而这类危险区域对神经网络而言并不遥远。