跳到正文
arXiv · ML· Gleb Molodtsov, Ekaterina Alimaskina, Evgeny Uskov, Artur Zagitov, Aleksandr Beznosikov·· 2026-10-07AI 评分28

MaskAhead:面向块扩散语言模型的无训练 KV 缓存驱逐方法

Mask-Guided KV Cache Eviction in Block Diffusion Language Models

AI 导读

无训练方法 MaskAhead 通过基于掩码查询的排序机制解决块扩散语言模型中的 KV 缓存选择与驱逐问题,显著降低显存开销。在长提示问答任务中,其量化变体 Q-MaskAhead 平均减少 20.1 倍 KV 显存,F1 损失 2.3 分,并在批量 32 场景下实现 1.23 倍端到端加速。该方法在 LLaDA2.0-mini 等模型上验证了推理阶段加速与长文本检索能力。

来源:arXiv · ML · arxiv.org