GFT:从模仿到奖励微调,基于无偏分组优势与动态系数校正

深度2026年4月15日37 分钟阅读
最有趣的发现是:监督微调(SFT)可被解释为具有极端稀疏隐式奖励的策略梯度优化特例,这导致了单一路径依赖和梯度爆炸等问题。本文适合自然语言处理、强化学习领域的研究者及大模型训练工程师阅读。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI CEO Sam Altman 透露,公司曾考虑对下一代模型采用按任务定价的扁平收费模式,但客户强烈反对,因为无法了解费用构成。开发者宁愿接受 token 单价上涨,也要保留可追踪的计费方式。Altman 承认 token 并非理想计量单位,但目前没有更优方案。

深度The New Stack·10月29日·4 分钟

AWS 的 Hydro 团队发现智能体生成的 PR 越来越大、越来越快,人类审查难以覆盖。他们主张把正确性检查放到智能体的“信任区”之外,用编译器强制执行,比如 Rust 的借用检查器能在编译期捕获竞态条件。团队还在探索将幂等性等常见模式做成通用护栏,同时推出了高并发智能体运行时 Infinity。

深度The New Stack·10月29日·3 分钟

评论