S
SkillNav

编码智能体推理基准测试：TPS 高 31%，TTFT 快 2 倍

深度2026年5月19日5 分钟阅读
编码智能体推理基准测试：TPS 高 31%，TTFT 快 2 倍
Together AI 发布了一项针对编码智能体的推理基准测试。在 4 张 B200 GPU 上，其 Together Inference Engine 比 TensorRT-LLM 的 TPS 高 31%，饱和时 TTFT 快 2 倍，且使用 Kimi K2.6 的成本比 Claude Opus 4.6 低 76%。
本文编译自 Benchmarking inference at scale: coding agents，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

概念速查

AI 智能体

AI Agent 是能自主感知环境、制定计划并采取行动来完成目标的智能程序——不只是聊天，而是帮你干活。

相关文章

Mega-ASR: 大规模真实声学模拟驱动的野外语音识别

本文提出Mega-ASR框架，通过构建包含54种复合声学场景的Voices-in-the-Wild-2M数据集，结合渐进式声学到语义优化和双粒度WER门控策略，在复杂噪声环境下相对词错误率降低超30%。该方法突破了现有模型在真实世界中的声学鲁棒性瓶颈。

深度·5月23日·26 分钟

最小RLVR训练：秩一轨迹外推LLM

本文发现RLVR训练的权重轨迹是低秩且可预测的，秩一近似即可捕获大部分性能增益。基于此提出RELEX方法，通过短窗口观测估计秩一子空间，并用线性回归外推未来检查点，仅需15%的训练步数即可匹配或超越完整RLVR性能。该方法能外推到观测窗口的10-20倍以上，且无需学习模型，归功于秩一投影的降噪效应。

深度·5月23日·25 分钟

评论