TriAttention：基于三角KV压缩的高效长推理方法
深度2026年4月6日40 分钟阅读
研究发现RoPE前空间中Q/K向量围绕固定中心高度集中，这一特性导致查询偏好特定距离的键值，作者据此设计了基于三角级数的重要性估计算法。该工作为LLM长上下文推理提供了高效压缩方案，适合关注KV缓存优化、注意力机制改进和大模型部署的研究者阅读。
觉得有用？分享给更多人
相关文章
Anthropic 限制其最新模型 Claude Mythos 的访问，仅提供给 Project Glasswing 的合作伙伴，理由是其在网络安全漏洞发现方面能力过强。该模型已发现数千个高危漏洞，包括各大操作系统和浏览器中的问题。多位安全专家证实，AI 在漏洞研究方面已取得质的飞跃，引发行业关注。
深度Simon Willison·4月7日·5 分钟
Claude Mythos Preview 展现出卓越的网络安全能力，能自主发现并利用零日漏洞，包括复杂的内存安全漏洞和跨多个漏洞的利用链。其漏洞利用成功率相比前代模型 Opus 4.6 有显著提升，从近 0% 提升到数百次成功。团队认为这是网络安全领域的转折点，并启动了 Project Glasswing 来帮助防御者提前加固关键系统。
深度·4月7日·5 分钟