Together AI 实现开源模型推理速度翻倍

指南2025年12月1日4 分钟阅读
Together AI 实现开源模型推理速度翻倍
Together AI 通过 GPU 优化、高级推测解码和 FP4 量化,将 Qwen、DeepSeek、Kimi 等主流开源模型的推理速度提升高达 2 倍,在 NVIDIA Blackwell 架构的速度基准测试中排名第一。
本文编译自 Together AI delivers fastest inference for the top open-source models,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

OpenAI 发布了一款 230 美元的 Codex Micro 键盘,与 Work Louder 合作设计,作为 Codex 的物理控制台。键盘具有 Agent Keys、快捷命令键和推理旋钮,但属于限量合作,更像是一个新奇产品。同时,OpenAI 正在开发另一款屏幕less 智能扬声器设备,但尚在开发中。

指南·7月15日·3 分钟

Gemini API 托管 Agent 新增后台执行、远程 MCP 服务器集成、自定义函数调用和凭证刷新能力,支持异步工作流并与企业系统安全连接。

指南·7月7日·4 分钟

评论