CWE-bench v2:100 个任务测模型找漏洞能力
指南Hugging Face2026年11月3日4 分钟阅读
CWE-bench v2 公开了 100 个真实开源仓库的安全修复任务,覆盖 91 种 CWE。Gemini 4 Argon 以 67.8% 的 pass@1 领先,但即使是最强模型也有 19% 的任务从未解决。
本文编译自 CWE-bench v2: More coverage, quality, and transparency,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
Raindrop 发布 Simulations 公开测试版,通过重建智能体的生产环境(包括工具、API 和数据库)来模拟变更影响。平台提供仿真保真度评分,并支持通过 MCP 连接数据源。早期测试运行了超过 3.3 万次仿真,覆盖 1700 多个 PR。
Meta 收购了 AI 编程初创公司 Conductor,后者主打多 Agent 并行开发。Conductor 核心功能将维持到明年初,但云服务 11 月 20 日关停。这是 Meta 近期追赶 AI 编程赛道的一系列动作之一。