法国AI新秀ZML发布免费推理加速软件,支持多种芯片

深度2026年7月8日5 分钟阅读
法国AI新秀ZML发布免费推理加速软件,支持多种芯片
图灵奖得主Yann LeCun背书的法国AI初创公司ZML,近日发布了名为ZML/LLMD的推理服务器软件。该软件能在NVIDIA、AMD、Google TPU、Apple Metal和Intel Arc等多种芯片上高效运行大语言模型,旨在打破芯片生态壁垒,有望降低AI推理成本。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Vercel 每天路由超万亿 token,Coinbase 通过默认使用开源模型、任务路由和激进缓存将 AI 成本降低近一半。两者均采用模型网关作为控制平面,动态选择模型,并强调持续评估和可观测性的重要性。

深度The New Stack·7月7日·5 分钟

尽管开源模型使用量激增,前沿实验室的收入并未显著下降。两类模型分别主导“探索”和“生产”阶段,形成稳定的双层次经济结构。

深度·7月7日·4 分钟

评论