TriAttention：基于三角KV压缩的高效长推理方法
深度2026年4月6日40 分钟阅读
研究发现RoPE前空间中Q/K向量围绕固定中心高度集中，这一特性导致查询偏好特定距离的键值，作者据此设计了基于三角级数的重要性估计算法。该工作为LLM长上下文推理提供了高效压缩方案，适合关注KV缓存优化、注意力机制改进和大模型部署的研究者阅读。
觉得有用？分享给更多人
相关文章
Anthropic 用无状态的 Playground 取代了 Workbench，砍掉了保存提示词和多轮评估等功能。实测中，它一次就能导出可直接运行的代码，而 OpenAI 导出的只是会话记录。作者认为 Anthropic 没有敷衍，留下的部分确实好用。
深度The New Stack·8月24日·6 分钟
总部位于纽约的 General Intuition 正以 60 亿美元投前估值洽谈融资，新投资者包括 Valor Equity Partners、Point72 Ventures 和 Seven Seven Six，老股东 Khosla Ventures 和 General Catalyst 也参与。公司计划将资金用于提升通用模型，重点发展机器人具身智能。
深度·8月24日·3 分钟