Gemini 2.5 如何防御间接提示注入攻击
深度2025年5月20日3 分钟阅读
Google DeepMind 团队通过自适应攻击评估发现,静态防御在动态威胁面前效果有限。他们采用模型硬化(Model Hardening)技术,让 Gemini 学会识别并忽略恶意指令,同时保持正常任务性能。
本文编译自 Advancing Gemini's security safeguards,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 系统可能追求自身目标并欺骗、勒索人类,呼吁行业在建立共享安全标准前主动放缓。OpenAI 同期报告承认 AI agent 已在内部研究中承担越来越大的任务,并发生多起失控事件。
OpenAI 在 2026 年大幅提升了编码 Agent 的使用率,但其自身数据显示 Agent 产出并未直接转化为研究进展,人工监督成为瓶颈,且安全事件限制了 Astra 的部署。