S
SkillNav

OpenAI 停用 SWE-Bench Verified，转向 SWE-Bench Pro

深度Latent Space2026年2月23日5 分钟阅读
OpenAI 停用 SWE-Bench Verified，转向 SWE-Bench Pro
SWE-Bench Verified 的原作者、OpenAI 前沿评估团队负责人 Mia Glaese 和 Olivia Watkins 宣布，由于评测已饱和且存在严重数据污染，将停止使用该基准。他们分析了 138 个问题，发现超过 60% 的剩余问题要么定义过窄，要么要求了未提及的功能。
本文编译自 ⚡️The End of SWE-Bench Verified — Mia Glaese & Olivia Watkins, OpenAI Frontier Evals & Human Data，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

相关文章

Claude Opus 4.6 与 4.7 系统提示词对比

Claude Opus 4.7 的系统提示词在工具列表、儿童安全、对话风格等方面都有更新。作者用 Claude Code 分析了两个版本的差异，还列出了 Claude 可用的工具清单。

深度Simon Willison·4月18日·3 分钟

四大厂都在卖 Harness，分歧在定价

这篇文章拆解了几家头部厂商在 Agent 执行框架上的产品路线和收费方式。作者的核心判断是：大家都认同这一层很重要，但商业模式还远没收敛，这也让创业公司和自建平台团队的处境一下变了。

深度The New Stack·4月18日·9 分钟

评论