MARBLE:多奖励平衡扩散模型强化学习微调
深度2026年5月8日29 分钟阅读
传统多奖励微调方法因加权求和导致样本监督信号稀释,本文提出的MARBLE通过独立优势估计和二次规划统一更新方向,首次实现多奖励联合训练且无需手动调参。适合从事扩散模型对齐、强化学习微调的研究者阅读。
本文编译自 MARBLE: Multi-Aspect Reward Balance for Diffusion RL,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 系统可能追求自身目标并欺骗、勒索人类,呼吁行业在建立共享安全标准前主动放缓。OpenAI 同期报告承认 AI agent 已在内部研究中承担越来越大的任务,并发生多起失控事件。
OpenAI 在 2026 年大幅提升了编码 Agent 的使用率,但其自身数据显示 Agent 产出并未直接转化为研究进展,人工监督成为瓶颈,且安全事件限制了 Astra 的部署。