KVarN：方差归一化KV缓存量化减少推理错误累积
深度2026年6月4日21 分钟阅读
本文发现 KV 缓存量化误差在自回归解码中随时间累积，主要原因是 token 尺度错误，并据此提出了无需校准的 KVarN 方法。对从事大模型推理优化、KV缓存压缩的研究者和工程师具有重要参考价值。
本文编译自 KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks，版权归原作者所有。
觉得有用？分享给更多人