信任区域策略蒸馏：稳定大模型在线蒸馏方法
深度2026年6月4日25 分钟阅读
当教师与学生模型分布差异大时，传统在线蒸馏可能失效。TrOPD通过识别信任区域并处理异常值，实现了更可靠的蒸馏，适合大语言模型后训练场景。
本文编译自 Trust Region On-Policy Distillation，版权归原作者所有。
觉得有用？分享给更多人
相关文章
Fable 系统在 KernelBench-Mega 上编写了首个真正的 megakernel，速度提升 18.71 倍，预示 AI 研发自动化临近；Remote Labor Index 显示 AI 对在线项目自动化成功率已升至 16.1%，且增长迅速；OSWORLD 2.0 推出更复杂的计算机操作基准，任务中位数耗时 1.6 小时，当前最强 AI 仅达 20.6%；京东公布 Oxygen AIIC 系统，用深度学习管理数十亿 SKU 的库存。
深度·7月6日·4 分钟
微软、AWS、Anthropic 和 OpenAI 纷纷建立嵌入式工程团队，帮助客户部署 AI。模型质量差距缩小，部署和客户粘性成为竞争关键。企业采购时应关注系统所有权和退出成本。
深度The New Stack·7月5日·7 分钟