arXiv · NLP· Mengting Ai, Jingrui He, Yue Guo·· 4 小时前AI 评分27
研究揭示 KV 缓存压缩下的“答案-证据鸿沟”：准确率保持不等于推理忠实性
Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression
AI 导读
针对大推理模型，研究指出 KV 缓存压缩下最终答案准确率与推理忠实度可能出现脱节。 该“答案-证据鸿沟”在 10 种 token 驱逐方法中显著存在，这些方法能维持答案准确率但大幅削弱证据链支持。 相比之下，一种保持覆盖率的量化方法受影响较小，表明故障源于对推理轨迹部分的访问缺失而非单纯的 KV 内存缩减。
来源：arXiv · NLP · arxiv.org