全球首次双盲 AI 评估：用密码学保护基准测试
深度2026年8月27日3 分钟阅读
如果模型提前看过测试题，分数就失去意义——这是行业评估前沿模型时的最大隐患。Google 联合多家机构，推出了全球首个针对专有前沿模型的双盲评估，用密码学环境把试题锁进“盒子”，防止模型预先优化成绩。
本文编译自 Piloting the world's first double-blind AI evaluations，版权归原作者所有。
觉得有用？分享给更多人
相关文章
Kubernetes 原本假设软件只做开发者让它做的事，但 AI Agent 会自主推理、调用工具、编写代码，打破了这一前提。文章讨论了 Agent 负载对 Kubernetes 提出的三大挑战：安全沙箱缺失、生命周期极短需要快速启动、以及监控难题，并介绍了社区正在探索的 agent substrate 方案——让 Agent 在热池中保持挂起状态以实现毫秒级恢复。
深度The New Stack·10月25日·5 分钟
AWS 正式发布代码安全智能体 Continuum，在其自研的 CyberGym-E2E 基准测试中取得 89% 的端到端修复成功率，相比之前公开最高分 65.9% 大幅提升。但基准测试仅覆盖 C/C++ 内存安全漏洞，且由 AWS 自行执行；在历史漏洞修复这一项上得分仅 37.8%，说明修复的未必是预设目标漏洞。
深度The New Stack·10月24日·3 分钟