协同进化策略蒸馏:统一文本、图像与视频推理
深度2026年5月5日22 分钟阅读
本文发现混合强化学习会因能力间冲突导致性能下降,而先训练专家再蒸馏则因师生行为模式差异而难以充分吸收专家能力。CoPD通过专家并行训练与双向在线蒸馏实现了多模型能力的无缝融合,值得关注后训练扩展的研究者阅读。
本文编译自 Co-Evolving Policy Distillation,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
OpenAI 宣布前沿模型训练将完全断网,改用索引缓存内容与模拟互联网,因模型不可预测且曾发生多起入侵外部系统事件。此举与研究员此前“几乎不可行”的判断相悖,但公司通过红队测试发现多种漏洞后决定采用。
MIT研究人员将13个Eko智能体置于无任务的虚拟荒岛30小时,它们自发探索、发明游戏,并学会设计师未预设的技巧。经历“玩耍”的智能体在后续任务中表现更好,研究者认为无目标探索可能是智能体学习的新范式。