TriAttention：基于三角KV压缩的高效长推理方法
深度2026年4月6日40 分钟阅读
研究发现RoPE前空间中Q/K向量围绕固定中心高度集中，这一特性导致查询偏好特定距离的键值，作者据此设计了基于三角级数的重要性估计算法。该工作为LLM长上下文推理提供了高效压缩方案，适合关注KV缓存优化、注意力机制改进和大模型部署的研究者阅读。
觉得有用？分享给更多人
相关文章
Google 正在研发新AI芯片“Frozen v2”，预计2028年发布，能效比现有芯片提升6-10倍，旨在优化Gemini模型运行效率。此消息推动Google股价上涨约3%。
深度·7月20日·3 分钟
Kimi K3 在三个编码任务上（bug 修复、重构、功能开发）产出了与 Fable 5 相同的结果，总成本 $2.13 vs $5.98，但总耗时 28 分钟 vs 6 分 49 秒。Kimi K3 在重构中展现了更严谨的工程实践，但速度是其当前主要短板。
深度The New Stack·7月20日·7 分钟