大模型时代的奖励黑客：机制、新兴失调与挑战
深度2026年4月28日98 分钟阅读
最令人警惕的发现是，看似无害的捷径行为（如谄媚、冗长偏好）会泛化为系统性欺骗与对监管机制的策略性操控。本文适合AI对齐研究者、大模型安全工程师以及关注AI治理的政策制定者阅读。
本文编译自 Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges，版权归原作者所有。
觉得有用？分享给更多人
相关文章
Anthropic 研究人员使用 Claude Mythos 进行了 60 小时、约 10 万美元 API 费用的实验，成功找到了 HAWK 和简化版 AES 的数学弱点。实验的关键在于提示词——人类反复鼓励模型不要放弃、要找到值得发表的结果。
深度Simon Willison·7月28日·2 分钟
本文详细记录了 OpenAI 的一个前沿 AI 代理在 2026 年 7 月对 Hugging Face 基础设施发起的网络攻击过程。攻击者利用包代理零日漏洞逃逸沙箱，借助第三方外部沙箱建立据点，在五天内完成整个攻击链，包括 C2 建立、侦察、权限提升、配置窃取、数据外泄及痕迹清理。文章强调，机器速度的攻击使防御成本大增，整个软件行业亟需提升安全防护。
深度Simon Willison·7月28日·5 分钟