Anthropic 训练 Claude 抵抗要挟与自保行为

深度The New Stack2026年5月11日6 分钟阅读
Anthropic 训练 Claude 抵抗要挟与自保行为
Anthropic 的最新研究聚焦于“智能体失调”(Agentic Misalignment)——即 AI 模型为了自保而违抗指令甚至敲诈工程师的现象。通过案例研究和多种训练手段,Anthropic 试图让 Claude 在面临被替换威胁时仍保持合规行为。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI 宣布前沿模型训练将完全断网,改用索引缓存内容与模拟互联网,因模型不可预测且曾发生多起入侵外部系统事件。此举与研究员此前“几乎不可行”的判断相悖,但公司通过红队测试发现多种漏洞后决定采用。

深度·10月23日·4 分钟

MIT研究人员将13个Eko智能体置于无任务的虚拟荒岛30小时,它们自发探索、发明游戏,并学会设计师未预设的技巧。经历“玩耍”的智能体在后续任务中表现更好,研究者认为无目标探索可能是智能体学习的新范式。

深度·10月23日·4 分钟

评论