Google 的 Decoupled DiLoCo:让 AI 训练跨数据中心更抗造
深度2026年4月22日4 分钟阅读
训练大模型时,一个芯片故障就可能导致整个训练停滞。Google 的新架构 Decoupled DiLoCo 通过将训练拆分为多个“孤岛”,实现了异步训练,即使部分硬件失效,系统也能继续高效运行,且性能不降。在跨 4 个美国区域的测试中,该架构仅需 2-5 Gbps 带宽,训练速度比传统同步方法快 20 倍。
觉得有用?分享给更多人
觉得有用?分享给更多人
OpenAI CEO Sam Altman 透露,公司曾考虑对下一代模型采用按任务定价的扁平收费模式,但客户强烈反对,因为无法了解费用构成。开发者宁愿接受 token 单价上涨,也要保留可追踪的计费方式。Altman 承认 token 并非理想计量单位,但目前没有更优方案。
AWS 的 Hydro 团队发现智能体生成的 PR 越来越大、越来越快,人类审查难以覆盖。他们主张把正确性检查放到智能体的“信任区”之外,用编译器强制执行,比如 Rust 的借用检查器能在编译期捕获竞态条件。团队还在探索将幂等性等常见模式做成通用护栏,同时推出了高并发智能体运行时 Infinity。