ChatGPT 如何用社交工程思维防御提示注入
深度OpenAI2026年3月11日3 分钟阅读
OpenAI 发现，针对 AI 智能体的提示注入攻击正演变为社交工程，防御策略需从单纯过滤转向限制风险操作。ChatGPT 结合源-汇分析和安全护栏，在敏感信息外传前要求用户确认。
本文编译自 Designing AI agents to resist prompt injection，版权归原作者所有。
觉得有用？分享给更多人
相关文章
新版 Claude 模型在调用 Pi 的 edit 工具时，会在嵌套的 edits 数组中凭空捏造大量额外键（如 requireUnique、oldText2 等），导致工具调用失败。作者分析认为，这是由于模型在后训练中过度适应了 Claude Code 的扁平编辑工具 schema，遇到不同形状的工具时更易生成不符合 schema 的调用。开启 strict 模式可解决，但显示了后训练对模型行为的深刻影响。
深度·7月4日·12 分钟
阿里巴巴报告将禁止员工使用 Anthropic 的 Claude Code 编程工具，自7月10日起生效。该工具被列为高风险软件，员工将被要求使用阿里自研的 Qoder 替代。此前 Anthropic 已禁止中国公司使用其模型，并曾通过实验性代码识别中国用户以防止滥用。
深度·7月4日·2 分钟