arXiv · ML· Wenhe Zhang, Boxing Chen·· 2 天前AI 评分37
稀疏注意力中头部选择缺陷的诊断与修复
Lost in a Few Heads: Diagnosing and Repairing Block Selection in Sparse Attention
AI 导读
稀疏注意力模型在固定预算下常因选择器低估关键token而损失长上下文检索精度。研究通过校准探针定位到特定"盲点"注意力头,发现全量注意力或4-bit评分器可恢复性能。 在InfLLM-V2和MiniCPM4.1-8B上,该修复方法将多键检索准确率从54.1%提升至97.5%,且保留了84%至89%的TTFT优势。
来源:arXiv · ML · arxiv.org