可引导视觉表征：语言驱动的视觉特征学习
深度2026年4月2日34 分钟阅读
这项研究最有趣的发现是：通过早期文本注入而非后期融合，实现了语言引导的视觉表征，既保留了通用视觉任务的性能，又获得了多模态大模型的引导能力。计算机视觉研究者、多模态学习从业者以及对视觉-语言交互感兴趣的研究人员都应该阅读这篇论文。
本文编译自 Steerable Visual Representations，版权归原作者所有。
觉得有用？分享给更多人
相关文章
本文提出Mega-ASR框架，通过构建包含54种复合声学场景的Voices-in-the-Wild-2M数据集，结合渐进式声学到语义优化和双粒度WER门控策略，在复杂噪声环境下相对词错误率降低超30%。该方法突破了现有模型在真实世界中的声学鲁棒性瓶颈。
深度·5月23日·26 分钟
本文发现RLVR训练的权重轨迹是低秩且可预测的，秩一近似即可捕获大部分性能增益。基于此提出RELEX方法，通过短窗口观测估计秩一子空间，并用线性回归外推未来检查点，仅需15%的训练步数即可匹配或超越完整RLVR性能。该方法能外推到观测窗口的10-20倍以上，且无需学习模型，归功于秩一投影的降噪效应。
深度·5月23日·25 分钟