MARBLE:多奖励平衡扩散模型强化学习微调
深度2026年5月8日29 分钟阅读
传统多奖励微调方法因加权求和导致样本监督信号稀释,本文提出的MARBLE通过独立优势估计和二次规划统一更新方向,首次实现多奖励联合训练且无需手动调参。适合从事扩散模型对齐、强化学习微调的研究者阅读。
本文编译自 MARBLE: Multi-Aspect Reward Balance for Diffusion RL,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
MIT研究人员将13个Eko智能体置于无任务的虚拟荒岛30小时,它们自发探索、发明游戏,并学会设计师未预设的技巧。经历“玩耍”的智能体在后续任务中表现更好,研究者认为无目标探索可能是智能体学习的新范式。
微软和 Hugging Face 联合发布 ThinkingBox-Training,将 ThinkingBox-Bench 中可执行检查返回的 0/1 结果作为奖励信号,用于训练其他任务上的 Agent。他们提出离线策略相对难度来选择训练任务,并用 GRPO 对 Qwen3.8-27B 进行微调。结果显示,模型在重复性任务上的成功率大幅提升,但至少成功一次的覆盖率略有下降。