Aurora 优化器：解决 Muon 神经元死亡问题，训练效率提升 100 倍

深度2026年5月10日5 分钟阅读

Muon 优化器在训练大型语言模型时，其更新会导致 MLP 层中的神经元永久死亡。Tilde Research 提出的新优化器 Aurora，通过联合约束行范数均匀性和正交性，在 1.1B 模型上实现了 100 倍的数据效率提升，并刷新了 nanoGPT 速度跑榜的 SOTA。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

AI Agent的可靠性瓶颈不在模型能力，而在于上下文层的质量。团队需要构建结构化的领域知识图、精确的工具检索（如假设调用匹配）、以及执行层的安全护栏。基础设施的差距正在成为团队间的分水岭。

深度The New Stack·7月18日·10 分钟

作者在 fd 代码仓库中对 Grok 4.5 和 Claude Opus 4.8 进行了三项对比测试（bug 修复、重构、功能开发）。结果显示，Grok 使用了 Opus 约 23% 的 token、约 32% 的时间，成本仅为约 1/5，且代码质量几乎相同。

深度The New Stack·7月18日·8 分钟

相关文章