Together Compiler:用 Agent 持续编译,推理吞吐提升 2.6 倍
深度2026年11月4日8 分钟阅读

Together AI 推出 Together Compiler(TKCC),利用高吞吐 Agent 和持久化引擎,在不到 24 小时内为不同模型、硬件和流量模式自动生成优化方案,在多个前沿开源模型上实现最高 2.6 倍 TPS 提升,并在 SemiAnalysis 的 InferenceX 基准测试中创下低延迟新纪录。
本文编译自 Together Compiler: Continual Compilation for AI inference,版权归原作者所有。
觉得有用?分享给更多人