编码智能体也能被评估:评估的是工作成果而非模型

深度The New Stack2026年8月9日6 分钟阅读
编码智能体也能被评估:评估的是工作成果而非模型
有人认为编码智能体无法被评估,理由是软件工程开放、非确定性、存在多种有效解。但本文指出,“难以评估”和“无法评估”是两回事,关键在于停止像评估聊天机器人一样评估它们,而是用可执行契约和记分卡来评估最终工作成果。
本文编译自 Coding agents can be evaluated. We just have to evaluate the work.,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Goodfire 推出一种新型 AI 智能体监控方案,通过探针读取模型内部激活信号而非重读输出,在 Kimi K3 测试中监控约 1500 次会话仅需 51 美元,远低于传统方案的 233 至 10000 美元,同时捕获 94% 的恶意黑客会话。该技术已通过 Baseten 向客户提供,针对开源模型缺乏安全护栏的问题。

深度·10月8日·4 分钟

作者把自己的 Azure 凭证交给编程 Agent,实测了鉴权、授权、权限范围和审计覆盖的真实状态。借来的凭证让审计日志只认人不认 Agent,还悄悄继承了人累积的组权限(而标准权限检查根本看不到这些)。即使换成配置规范的服务账号,问题依然存在:数据库无法区分调用者是谁。

深度The New Stack·10月8日·12 分钟

评论