TriAttention：基于三角KV压缩的高效长推理方法
深度2026年4月6日40 分钟阅读
研究发现RoPE前空间中Q/K向量围绕固定中心高度集中，这一特性导致查询偏好特定距离的键值，作者据此设计了基于三角级数的重要性估计算法。该工作为LLM长上下文推理提供了高效压缩方案，适合关注KV缓存优化、注意力机制改进和大模型部署的研究者阅读。
觉得有用？分享给更多人
相关文章
Greg Brockman 公开表示模型本身不再是产品，这是从“大模型团队”立场的重大反转。AI21 关闭模型团队、DeepSeek 首次组建 Harness 团队，行业正在从纯模型竞争转向模型+框架+工作流+UI+记忆+经济的全栈竞争。但这也可能意味着，通过联合训练模型与闭源框架来进一步收紧模型访问权限。
深度Latent Space·5月23日·8 分钟
本文提出Mega-ASR框架，通过构建包含54种复合声学场景的Voices-in-the-Wild-2M数据集，结合渐进式声学到语义优化和双粒度WER门控策略，在复杂噪声环境下相对词错误率降低超30%。该方法突破了现有模型在真实世界中的声学鲁棒性瓶颈。
深度·5月23日·26 分钟