arXiv · ML· Aryan Chowdhury, Riza Batista-Navarro·· 4 小时前AI 评分28
剪枝冗余注意力头抑制 LLM 逐字记忆：GPT-2-XL 实验表明 729 个头削减可减少 91.5% 记忆
Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation
AI 导读
在推理阶段剪枝 LLM 的冗余注意力头可显著抑制逐字记忆，无需重新训练或修改数据。在 GPT-2-XL(1.5B) 上剪除 729 个任务冗余头，记忆序列数量降低 91.5%，WikiText-103 困惑度改善 0.92。该发现表明利用注意力头冗余性可在推理时缓解隐私与知识产权泄露风险。
来源：arXiv · ML · arxiv.org