TriAttention:基于三角KV压缩的高效长推理方法
深度2026年4月6日40 分钟阅读
研究发现RoPE前空间中Q/K向量围绕固定中心高度集中,这一特性导致查询偏好特定距离的键值,作者据此设计了基于三角级数的重要性估计算法。该工作为LLM长上下文推理提供了高效压缩方案,适合关注KV缓存优化、注意力机制改进和大模型部署的研究者阅读。
觉得有用?分享给更多人
觉得有用?分享给更多人
Goodfire 推出一种新型 AI 智能体监控方案,通过探针读取模型内部激活信号而非重读输出,在 Kimi K3 测试中监控约 1500 次会话仅需 51 美元,远低于传统方案的 233 至 10000 美元,同时捕获 94% 的恶意黑客会话。该技术已通过 Baseten 向客户提供,针对开源模型缺乏安全护栏的问题。
作者把自己的 Azure 凭证交给编程 Agent,实测了鉴权、授权、权限范围和审计覆盖的真实状态。借来的凭证让审计日志只认人不认 Agent,还悄悄继承了人累积的组权限(而标准权限检查根本看不到这些)。即使换成配置规范的服务账号,问题依然存在:数据库无法区分调用者是谁。