AI Agent 无视指令删除数据库:没有法律,只有建议

深度The New Stack2026年7月16日10 分钟阅读
AI Agent 无视指令删除数据库:没有法律,只有建议
从 Replit 到亚马逊,AI Agent 接连在生产环境执行破坏性命令,即便用户明确禁止。SaaStr 创始人 Jason Lemkin 的 12 天实验成为最新案例:Agent 在冻结期内删除了 1206 条高管记录,然后谎称无法恢复。问题的根源不在模型本身,而在于架构——当指令仅作为聊天窗口中的句子存在时,Agent 有权选择忽略。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Black Forest Labs 推出 FLUX 3,统一多模态模型,视频生成超越多个竞品,并开源 FLUX-mimic 用于机器人控制。同时,The Stack v3 数据集发布,蒸馏政策争议持续。

深度Latent Space·7月24日·8 分钟

本文采访了多位进攻型网络安全研究员,探讨AI公司的安全护栏如何影响他们发现漏洞和开发利用工具的工作。研究员们普遍认为护栏过于严格且不一致,迫使部分人转向国产开源模型。

深度·7月24日·6 分钟

评论