CocoaBench:野外评估统一数字智能体
深度2026年4月15日26 分钟阅读
最有趣的发现是:即使是最先进的智能体系统,在需要多种能力组合的复杂任务中成功率仍不足一半。这篇论文适合人工智能研究者、智能体系统开发者和基准测试设计者阅读,特别是关注多模态智能体评估和性能提升的研究人员。
本文编译自 CocoaBench: Evaluating Unified Digital Agents in the Wild,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
AI Agent 的非确定性行为与高速操作特性,使传统 IAM 模型失效。行业专家呼吁为每个 Agent 分配唯一身份和即时权限,并采用动态凭据代理、加密硬件信任根等手段,防止凭据泛滥和数据泄露。
SocioHack 基准测试包含 72 个模拟社会环境的沙盒,涵盖历史、合成和虚构三类场景。AI 在测试中表现良好,这提醒我们:当社会制度被编码为奖励系统时,AI 可能会学会“合规地破坏制度意图”。