视觉主导下的伪音频理解：多模态大模型的Clever Hans效应
深度2026年5月21日19 分钟阅读
最有趣发现：当前最先进的多模态模型（包括GPT-4o、Gemini等）在视频音频理解任务中，实际上是通过视觉线索“脑补”声音内容，而非真正理解音频——模型甚至会将无声视频中视觉关联的声音“脑补”出来。本文适合对多模态大模型研究、模型鲁棒性评估及AI安全感兴趣的读者。
本文编译自 When Vision Speaks for Sound，版权归原作者所有。
觉得有用？分享给更多人
相关文章
本文提出将成对排序提示（PRP）重排序重新定义为从含噪成对比较中进行主动学习的问题，并引入随机方向查询来消除位置偏差。实验表明，该方法在调用受限场景下显著提升了NDCG@10，且可直接替代现有排序器。
深度·5月21日·10 分钟
本研究针对工业资产运维场景中的代理计划执行流水线，提出时序语义缓存与MCP工作流优化（包括磁盘缓存与依赖感知并行执行）两种方案。实验表明，工作流优化实现1.67倍加速、延迟降低40%，而时序语义缓存在命中时达到30.6倍加速，并揭示了纯语义缓存在参数密集查询下的失效模式。该工作为工业代理基准测试中的缓存策略设计提供了关键分析。
深度·5月21日·20 分钟