AJ-Bench:面向环境感知评估的Agent-as-a-Judge基准测试

深度2026年4月20日23 分钟阅读
最有趣的发现是Agent-as-a-Judge通过主动与环境交互获取可验证证据,在多个领域超越了传统LLM评估方法。该论文适合强化学习研究者、大语言模型开发者以及需要评估智能体在复杂环境中行为的研究人员阅读。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI CEO Sam Altman 透露,公司曾考虑对下一代模型采用按任务定价的扁平收费模式,但客户强烈反对,因为无法了解费用构成。开发者宁愿接受 token 单价上涨,也要保留可追踪的计费方式。Altman 承认 token 并非理想计量单位,但目前没有更优方案。

深度The New Stack·10月29日·4 分钟

AWS 的 Hydro 团队发现智能体生成的 PR 越来越大、越来越快,人类审查难以覆盖。他们主张把正确性检查放到智能体的“信任区”之外,用编译器强制执行,比如 Rust 的借用检查器能在编译期捕获竞态条件。团队还在探索将幂等性等常见模式做成通用护栏,同时推出了高并发智能体运行时 Infinity。

深度The New Stack·10月29日·3 分钟

评论