AutoResearchBench:自主科研文献发现AI基准
深度2026年4月28日29 分钟阅读
该基准揭示了当前AI在复杂科学文献发现上的巨大差距:即使顶尖模型也表现不佳。对于关注大语言模型和自主科研的学者,本文提供了一个重要的评价框架和未来研究方向。
本文编译自 AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
Cognition 的 Devin Desktop、微软的 Rayfin 和 Augment Code 的 Cosmos 在六月初相继发布,分别从团队控制台、企业治理和代理编排三个层面推动编码代理成为团队基础设施。这些工具解决了代理协调、管理和治理问题,但也带来了厂商锁定风险。
ServiceNow构建了包含HR和IT服务场景的语码转换语音数据集,评测7款ASR系统在WER、语义WER和答案错误率三个维度的表现。结果显示语码转换的“成本”因语言对和模型而异,Whisper V3 Turbo因默认翻译而非转录表现垫底。