Agentic-MME:多模态智能的代理能力评估新基准
深度2026年4月3日28 分钟阅读
最有趣的发现是:即使最佳模型在最高难度任务上的准确率也骤降至23.0%,凸显了真实世界多模态代理问题解决的巨大挑战。本文适合研究多模态智能、AI代理系统、评估基准开发的研究人员和工程师阅读。
觉得有用?分享给更多人
觉得有用?分享给更多人
Greg Brockman 公开表示模型本身不再是产品,这是从“大模型团队”立场的重大反转。AI21 关闭模型团队、DeepSeek 首次组建 Harness 团队,行业正在从纯模型竞争转向模型+框架+工作流+UI+记忆+经济的全栈竞争。但这也可能意味着,通过联合训练模型与闭源框架来进一步收紧模型访问权限。
本文提出Mega-ASR框架,通过构建包含54种复合声学场景的Voices-in-the-Wild-2M数据集,结合渐进式声学到语义优化和双粒度WER门控策略,在复杂噪声环境下相对词错误率降低超30%。该方法突破了现有模型在真实世界中的声学鲁棒性瓶颈。