编码智能体推理基准测试:TPS 高 31%,TTFT 快 2 倍

深度2026年5月19日5 分钟阅读
编码智能体推理基准测试:TPS 高 31%,TTFT 快 2 倍
Together AI 发布了一项针对编码智能体的推理基准测试。在 4 张 B200 GPU 上,其 Together Inference Engine 比 TensorRT-LLM 的 TPS 高 31%,饱和时 TTFT 快 2 倍,且使用 Kimi K2.6 的成本比 Claude Opus 4.6 低 76%。
本文编译自 Benchmarking inference at scale: coding agents,版权归原作者所有。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Black Forest Labs 推出 FLUX 3,统一多模态模型,视频生成超越多个竞品,并开源 FLUX-mimic 用于机器人控制。同时,The Stack v3 数据集发布,蒸馏政策争议持续。

深度Latent Space·7月24日·8 分钟

本文采访了多位进攻型网络安全研究员,探讨AI公司的安全护栏如何影响他们发现漏洞和开发利用工具的工作。研究员们普遍认为护栏过于严格且不一致,迫使部分人转向国产开源模型。

深度·7月24日·6 分钟

评论