arXiv · NLP· Jaewon Sok, Jewon Yeom, Seonghyeon Park, Jeongjae Park, Taesup Kim·· 2026-10-06AI 评分36
大语言模型中的垃圾注意力:BOS 汇聚头与汇聚感知剪枝
Garbage Attention in Large Language Models: BOS Sink Heads and Sink-aware Pruning
AI 导读
研究识别出BOS汇聚现象是大语言模型深层注意力头功能冗余的关键机制,提出基于高BOS汇聚分数的剪枝策略。在Gemma-3、Llama-3.1和Qwen3上,该方法在低至中度剪枝率下保留下游任务性能接近稠密基线,优于基于权重和激活的准则。
来源:arXiv · NLP · arxiv.org