列表策略优化:基于组RLVR的LLM响应单纯形目标投影法

深度2026年5月13日26 分钟阅读
本文最有趣的发现是,现有LLM后训练策略梯度方法共享一种隐含的几何结构:它们都在响应单纯形上定义目标分布并通过一阶近似进行投影。提出的LPO方法通过显式执行目标投影,实现了更稳定高效的训练。适合对LLM强化学习后训练、策略优化算法设计感兴趣的NLP和强化学习研究人员。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

ThoughtTrace是首个大规模数据集,记录了用户与AI对话中的自述想法(发送提示的原因及对回复的反应),包含1,058名用户、2,155次对话及10,174条想法标注。分析表明,想法与消息语义不同,大模型难以从上下文推断,并能提升用户行为预测和个性化助手训练质量。该数据集为理解人机交互中的认知动态提供了新模态。

深度·5月22日·21 分钟

本文提出HASP框架,将智能体技能升级为可执行程序函数,在推理时或训练后主动干预智能体循环。在网页搜索、数学推理和编程任务上,HASP相比现有方法提升25%-30%性能,揭示了技能内化与稳定演化的机制。

深度·5月22日·20 分钟

评论