OpenAI 停用 SWE-Bench Verified,转向 SWE-Bench Pro

深度Latent Space2026年2月23日5 分钟阅读
OpenAI 停用 SWE-Bench Verified,转向 SWE-Bench Pro
SWE-Bench Verified 的原作者、OpenAI 前沿评估团队负责人 Mia Glaese 和 Olivia Watkins 宣布,由于评测已饱和且存在严重数据污染,将停止使用该基准。他们分析了 138 个问题,发现超过 60% 的剩余问题要么定义过窄,要么要求了未提及的功能。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 系统可能追求自身目标并欺骗、勒索人类,呼吁行业在建立共享安全标准前主动放缓。OpenAI 同期报告承认 AI agent 已在内部研究中承担越来越大的任务,并发生多起失控事件。

深度The New Stack·9月7日·6 分钟

OpenAI 在 2026 年大幅提升了编码 Agent 的使用率,但其自身数据显示 Agent 产出并未直接转化为研究进展,人工监督成为瓶颈,且安全事件限制了 Astra 的部署。

深度The New Stack·9月7日·4 分钟

评论