S
SkillNav

Together AI 推出 CPD 架构，长上下文推理提速 40%

深度2026年3月4日6 分钟阅读
Together AI 推出 CPD 架构，长上下文推理提速 40%
长提示词推理不必再忍受缓慢的响应。Together AI 提出了一种缓存感知的预填充-解码解耦（CPD）架构，通过分离冷热推理工作负载，将长上下文大语言模型推理的吞吐量提升了 40%，并显著降低了首词元延迟。
本文编译自 Cache-aware prefill–decode disaggregation (CPD) for up to 40% faster long-context LLM serving，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

相关文章

Goodfire 推出「由内而外」AI 监控器，成本仅十分之一

Goodfire 推出一种新型 AI 智能体监控方案，通过探针读取模型内部激活信号而非重读输出，在 Kimi K3 测试中监控约 1500 次会话仅需 51 美元，远低于传统方案的 233 至 10000 美元，同时捕获 94% 的恶意黑客会话。该技术已通过 Baseten 向客户提供，针对开源模型缺乏安全护栏的问题。

深度·10月8日·4 分钟

AI Agent 借用你的凭证时，悄悄继承了什么

作者把自己的 Azure 凭证交给编程 Agent，实测了鉴权、授权、权限范围和审计覆盖的真实状态。借来的凭证让审计日志只认人不认 Agent，还悄悄继承了人累积的组权限（而标准权限检查根本看不到这些）。即使换成配置规范的服务账号，问题依然存在：数据库无法区分调用者是谁。

深度The New Stack·10月8日·12 分钟

评论