arXiv · ML· Gleb Molodtsov, Ekaterina Alimaskina, Evgeny Uskov, Artur Zagitov, Aleksandr Beznosikov·· 2026-10-07AI 评分28
MaskAhead:面向块扩散语言模型的无训练 KV 缓存驱逐方法
Mask-Guided KV Cache Eviction in Block Diffusion Language Models
AI 导读
无训练方法 MaskAhead 通过基于掩码查询的排序机制解决块扩散语言模型中的 KV 缓存选择与驱逐问题,显著降低显存开销。在长提示问答任务中,其量化变体 Q-MaskAhead 平均减少 20.1 倍 KV 显存,F1 损失 2.3 分,并在批量 32 场景下实现 1.23 倍端到端加速。该方法在 LLaDA2.0-mini 等模型上验证了推理阶段加速与长文本检索能力。
来源:arXiv · ML · arxiv.org