TriAttention：基于三角KV压缩的高效长推理方法
深度2026年4月6日40 分钟阅读
研究发现RoPE前空间中Q/K向量围绕固定中心高度集中，这一特性导致查询偏好特定距离的键值，作者据此设计了基于三角级数的重要性估计算法。该工作为LLM长上下文推理提供了高效压缩方案，适合关注KV缓存优化、注意力机制改进和大模型部署的研究者阅读。
觉得有用？分享给更多人
相关文章
Sysdig披露的JadePuffer攻击是首例已知由AI代理执行技术操作的真实勒索软件攻击，但人类仍深度参与：选择目标、搭建C2服务器、提供凭证。攻击者利用Langflow漏洞入侵，加密超1300条配置记录，并自主生成勒索信。攻击速度快、透明度高，但所用模型未知。
深度·7月6日·4 分钟
北京大学对1888个GitHub仓库的研究显示，AI编码助手并未挤出开源项目的新人，但维护者的工作量显著增加，PR数量翻近四倍，代码复杂度小幅上升。
深度The New Stack·7月6日·5 分钟