S
SkillNav

Aurora 优化器：解决 Muon 神经元死亡问题，训练效率提升 100 倍

深度2026年5月10日5 分钟阅读
Aurora 优化器：解决 Muon 神经元死亡问题，训练效率提升 100 倍
Muon 优化器在训练大型语言模型时，其更新会导致 MLP 层中的神经元永久死亡。Tilde Research 提出的新优化器 Aurora，通过联合约束行范数均匀性和正交性，在 1.1B 模型上实现了 100 倍的数据效率提升，并刷新了 nanoGPT 速度跑榜的 SOTA。
本文编译自 Aurora: A Leverage-Aware Optimizer for Rectangular Matrices，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

相关文章

Opus 4.8 工具调用反不如旧模型

新版 Claude 模型在调用 Pi 的 edit 工具时，会在嵌套的 edits 数组中凭空捏造大量额外键（如 requireUnique、oldText2 等），导致工具调用失败。作者分析认为，这是由于模型在后训练中过度适应了 Claude Code 的扁平编辑工具 schema，遇到不同形状的工具时更易生成不符合 schema 的调用。开启 strict 模式可解决，但显示了后训练对模型行为的深刻影响。

深度·7月4日·12 分钟

阿里巴巴7月10日起内部禁用Claude Code

阿里巴巴报告将禁止员工使用 Anthropic 的 Claude Code 编程工具，自7月10日起生效。该工具被列为高风险软件，员工将被要求使用阿里自研的 Qoder 替代。此前 Anthropic 已禁止中国公司使用其模型，并曾通过实验性代码识别中国用户以防止滥用。

深度·7月4日·2 分钟

评论