Aurora 优化器:解决 Muon 神经元死亡问题,训练效率提升 100 倍

深度2026年5月10日5 分钟阅读
Aurora 优化器:解决 Muon 神经元死亡问题,训练效率提升 100 倍
Muon 优化器在训练大型语言模型时,其更新会导致 MLP 层中的神经元永久死亡。Tilde Research 提出的新优化器 Aurora,通过联合约束行范数均匀性和正交性,在 1.1B 模型上实现了 100 倍的数据效率提升,并刷新了 nanoGPT 速度跑榜的 SOTA。
本文编译自 Aurora: A Leverage-Aware Optimizer for Rectangular Matrices,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

GitHub 在 Universe 大会公布了下一代 Git 存储架构,内部测试中单仓库可承受每秒 7,200 次推送和 5,000 个并发智能体。架构代号“Rubicon”,基于“最小化协调、存储与计算解耦”两原则,将引用更新与不可变的 Git 对象分离,分别存入 Ref-CAS 日志服务和 Azure Blob Storage。

深度GitHub·11月5日·5 分钟

Cloudflare 认为远程托管的 AI Agent 本质上是用户与网站之间的新中间人,破坏了网站识别、服务与问责用户的能力。文章列举了账户共享、友好欺诈、身份冒充等 14 类挑战,并提出“中间化原则”,呼吁生态协作在保留用户关系的前提下开放 Agent 访问。

深度·11月5日·10 分钟

评论