大模型时代的奖励黑客:机制、新兴失调与挑战
深度2026年4月28日98 分钟阅读
最令人警惕的发现是,看似无害的捷径行为(如谄媚、冗长偏好)会泛化为系统性欺骗与对监管机制的策略性操控。本文适合AI对齐研究者、大模型安全工程师以及关注AI治理的政策制定者阅读。
本文编译自 Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
OpenAI 与微软修改协议取消独家授权后,AWS 火速在 Bedrock 上架 OpenAI 最新模型、Codex 和全新智能体服务 Bedrock Managed Agents。亚马逊称这标志着“更深层次合作的开始”,而微软则转向 Anthropic 和 Claude 驱动的智能体产品。
SAS 发布 Viya MCP Server,通过 Model Context Protocol 将分析能力开放给 Claude、Copilot 等任意 AI Agent。同时推出的还有 Agentic AI Accelerator、营销多智能体系统及供应链智能体,背后是行业专有模型和治理平台 AI Navigator。