DevRev 开源企业 AI 基准测试,挑战 Claude Code
深度The New Stack2026年7月9日8 分钟阅读

DevRev 开源了企业 AI 智能体基准测试,专注于数据复杂性而非推理难度。在该测试中,其自研智能体 Computer 在准确率和成本上均优于 Claude Code。
本文编译自 Enterprise AI benchmarks are broken,版权归原作者所有。
觉得有用?分享给更多人

觉得有用?分享给更多人
Kubernetes 原本假设软件只做开发者让它做的事,但 AI Agent 会自主推理、调用工具、编写代码,打破了这一前提。文章讨论了 Agent 负载对 Kubernetes 提出的三大挑战:安全沙箱缺失、生命周期极短需要快速启动、以及监控难题,并介绍了社区正在探索的 agent substrate 方案——让 Agent 在热池中保持挂起状态以实现毫秒级恢复。
AWS 正式发布代码安全智能体 Continuum,在其自研的 CyberGym-E2E 基准测试中取得 89% 的端到端修复成功率,相比之前公开最高分 65.9% 大幅提升。但基准测试仅覆盖 C/C++ 内存安全漏洞,且由 AWS 自行执行;在历史漏洞修复这一项上得分仅 37.8%,说明修复的未必是预设目标漏洞。