网易游戏如何将LLM冷启动从42分钟降至30秒

深度The New Stack2026年5月6日6 分钟阅读
网易游戏如何将LLM冷启动从42分钟降至30秒
弹性计算的前提是数据能快速就位。网易游戏在生产环境中发现,70B级大语言模型的冷启动瓶颈不在容器调度,而在模型数据加载。通过CNCF孵化项目Fluid,他们将模型加载时间从42分钟压缩到30秒,让无服务器GPU推理真正可用。
本文编译自 How NetEase Games cut LLM cold starts from 42 minutes to 30 seconds,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

谷歌发布了 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型,主打更高效率、更低成本和专门化场景(如网络安全)。但旗舰模型 Gemini 3.5 Pro 迟迟未更新,而竞争对手 OpenAI 和 Anthropic 已推出多款新模型,加剧了市场压力。

深度·7月21日·3 分钟

Google 推出 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款模型。3.6 Flash 在多项基准测试中显著优于 3.5 Flash,且成本更低;3.5 Flash-Lite 速度最快、性价比最高;3.5 Flash Cyber 专用于网络安全,仅限有限试点。此外,3.5 Pro 正在测试中,Gemini 4 预训练已启动。

深度·7月21日·5 分钟

评论