企业 AI 智能体部署的隐藏安全漏洞

深度The New Stack2026年3月17日4 分钟阅读
企业 AI 智能体部署的隐藏安全漏洞
Virtue AI 推出 Agent ForgingGround,一个红队测试平台,专门针对企业 AI 智能体的提示注入和安全漏洞进行压力测试。CEO Bo Li 强调,安全测试不能是一次性事件,必须随着智能体演化持续进行。

随着企业级 AI 智能体服务在软件系统中广泛应用,反对自动化的声音可能再次高涨。这些担忧并非空穴来风——开发者必须意识到,AI 智能体能够调用工具、访问敏感数据,并在企业数据库、财务记录、消息平台、客户关系管理系统等环境中实时执行业务工作流。如果企业在部署智能体服务时忽视了这些操作可能打开的安全漏洞,后果可能很严重。

模拟对抗攻击

为了应对当前浮现的安全担忧,实时多模态 AI 安全和系统治理平台公司 Virtue AI 推出了新的 Agent ForgingGround 服务。该服务内置了红队测试智能体(Red Teaming Agents),这是一种成熟的网络安全实践,通过模拟对抗攻击来识别可能被真实恶意行为者利用的漏洞。

Agent ForgingGround 作为一个企业级测试场,用于在部署前、部署中和部署后持续评估和压力测试 AI 智能体(包括可能生成子智能体的多智能体系统)。提供的工具集还能分析工具交互和跨系统行为。

作为 AgentSuite(Virtue AI 的智能体 AI 安全、治理和合规平台)的新组件,Agent ForgingGround 包含了 50 多个生产级模拟企业环境,如 Databricks、Gmail、Google Docs、PayPal、ServiceNow 和 Atlassian。

操作与配置混乱

由于智能体在动态、有状态的环境中运行,小的提示操作或无意中的配置错误可能升级为工具滥用、数据外泄或未经授权的交易。公司表示,如果没有受控的测试层,漏洞和零日漏洞只能在部署后发现,那时操作和声誉风险会高得多。

智能体是动态系统,会随着提示演化、工具更新或模型更换而变化,因此安全测试不能是一次性事件。

但即使有工具来分析智能体的状态、行为和不当倾向,开发者如何知道在软件开发生命周期中何时应用 Agent ForgingGround?这项技术是设计用于预生产测试、贯穿持续集成/持续部署(CI/CD)循环,还是其他时候?

Virtue AI 的 CEO 兼创始人 Bo Li 告诉 The New Stack,两者都是。

“大多数团队首先在预生产环境中运行 Agent ForgingGround,在智能体接触真实系统之前,这样他们可以在受控环境中压力测试行为。随着时间的推移,它也可以成为 CI/CD 管道的一部分。智能体是动态系统,会随着提示演化、工具更新或模型更换而变化,所以安全测试不能是一次性事件。它必须随着智能体演化持续运行,” Li 说。

与直接调用现有 MCP 环境(如 LangWatch)的智能体模拟不同,Virtue AI ForgingGround 从零开始生成环境。它作为一个高保真智能体模拟器,用于在受控、灵活的数字世界中评估和压力测试智能体。

独立监督层

这些环境在用户和智能体界面都镜像了真实世界对应物,实现了 Li 和团队承诺的“现实且可转移的”智能体行为和风险评估。通过作为独立监督层运作,ForgingGround 允许内置的红队测试智能体在整个智能体生命周期提供持续的红队风险评估,弥补内部测试无法捕捉的盲点。

与 Li 共同领导 Virtue AI 智能体安全业务的是 Wenbo Guo。

作为加州大学圣塔芭芭拉分校的软件工程师和助理教授,Guo 在测试部署前的智能体时观察过开发者工作流。他说,过程始于开发者登录 Virtue AI 平台,选择智能体将运行的环境,以及他们想要测试的风险类型,如提示注入、工具注入、环境注入、技能注入及其组合。

“实际上,这些红队测试策略反映了现实的对抗行为,镜像了环境操纵策略,如注入的电子邮件、未经请求的 Slack 消息和嵌入共享文档的恶意指令。然后他们将智能体连接到 Agent ForgingGround 内的模拟环境,就像通过 MCP 或其他智能体框架连接到真实工具一样。

从那里,我们内置的红队测试智能体自动开始压力测试系统。过程结束时,开发者会收到一份详细报告,显示智能体如何行为、发现了哪些漏洞,以及在智能体进入生产环境之前的具体缓解建议,” Guo 告诉 The New Stack。

智能体链式反应

关于 Agent ForgingGround 如何测试多步智能体工作流和链式工具调用,而不仅仅是单个提示,CEO Li 提醒我们,大多数智能体故障不发生在单个提示层面;它们发生在智能体调用多个工具并对变化上下文做出反应的一系列决策链中。

“我们的系统在智能体执行时动态生成测试场景。红队测试智能体推动系统通过多步工作流、链式工具调用和演化上下文,这样开发者可以看到智能体在整个执行路径上的行为,而不仅仅是单个提示,” Li 告诉 The New Stack。

她进一步解释了开发者在智能体预生产测试中通常发现的故障和安全漏洞类型。最常见的类别是提示注入、工具注入和环境注入。

“最重要的是这些攻击的后果。当智能体可以访问企业工具和数据时,这些漏洞可能导致数据外泄、任意代码执行、钓鱼活动、勒索软件活动或恶意软件部署。严重性最终取决于智能体连接到什么系统以及允许它执行什么操作,” Li 告诉我们。

红队测试达到特警级别

Agent ForgingGround 已设计有 1000 多个专有红队测试算法,以优化攻击策略和注入点。测试环境也可以配置为重现特定评估场景,通过环境状态确定性验证结果。这允许团队重新运行智能体轨迹以进行基准测试、调试和回归测试。

Virtue AI Agent ForgingGround 与企业已在使用的智能体框架兼容,包括 Google ADK、OpenAI Agents SDK、LangChain、LangGraph、CrewAI、Amazon Bedrock AgentCore、Microsoft Agent Studio、GitHub Copilot、Claude Code、Cursor、Salesforce Agentforce 等。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Simon Willison 正在重构 LLM Python 库的抽象层,以支持服务器端工具执行等新功能。他利用 Claude Code 分析了四大 LLM 提供商的客户端库,生成了用于测试的 curl 命令和 JSON 输出。这些调研材料已开源,旨在帮助设计更通用的 API 抽象。

深度Simon Willison·4月5日·1 分钟

智能体技能——包含程序性知识和可执行资源的结构化包,供智能体在推理时动态加载——已成为增强 LLM 智能体的可靠机制。然而,推理时技能增强存在根本性限制:检索噪声引入无关指导,注入的技能内容带来大量 token 开销,而模型从未真正习得它所遵循的知识。我们提出一个问题:技能是否可以被内化到模型参数中,使其在无需任何运行时技能检索的情况下实现零样本自主行为?我们提出 Skill0,一个专为技能内化设计的上下文强化学习框架。Skill0 引入了一种训练时课程,从提供完整技能上下文开始,逐步撤除。技能按类别离线分组,并与交互历史一起渲染为紧凑的视觉上下文,教授模型工具调用和多轮任务完成。动态课程机制…

深度·4月5日·17 分钟

评论