大模型决策先于思考:早期编码证据
深度2026年4月1日20 分钟阅读
最有趣的发现是:大语言模型在生成第一个推理词元前,其内部激活已可被解码出最终决策,挑战了“先思考后决策”的直观假设。该研究适合关注大模型推理机制、可解释性及认知架构的研究者阅读。
本文编译自 Therefore I am. I Think,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
本文提出Mega-ASR框架,通过构建包含54种复合声学场景的Voices-in-the-Wild-2M数据集,结合渐进式声学到语义优化和双粒度WER门控策略,在复杂噪声环境下相对词错误率降低超30%。该方法突破了现有模型在真实世界中的声学鲁棒性瓶颈。
本文发现RLVR训练的权重轨迹是低秩且可预测的,秩一近似即可捕获大部分性能增益。基于此提出RELEX方法,通过短窗口观测估计秩一子空间,并用线性回归外推未来检查点,仅需15%的训练步数即可匹配或超越完整RLVR性能。该方法能外推到观测窗口的10-20倍以上,且无需学习模型,归功于秩一投影的降噪效应。