研究证明推理阶段剪枝注意力头可抑制LLM记忆
热点事件持续更新
研究证明推理阶段剪枝注意力头可抑制LLM记忆
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究人员Aryan Chowdhury在arXiv上发表了关于剪枝冗余注意力头抑制LLM逐字记忆的研究。该研究证明，在推理前将大量注意力头置零，能显著抑制模型的记忆行为。 实验以GPT-2-XL(1.5B)为例，剪除729个任务冗余头后，记忆序列数量降低了91.5%。同时，模型在WikiText-103数据集上的困惑度改善了0.92，表明语言建模性能得到保留甚至提升。 这一发现表明利用注意力头的冗余性，可在无需重新训练或修改数据的情况下，于推理时缓解隐私与知识产权泄露风险。
AI 根据报道生成 · 1 小时前更新
最新进展11月2日 13:00
剪枝冗余注意力头抑制 LLM 逐字记忆：GPT-2-XL 实验表明 729 个头削减可减少 91.5% 记忆报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · ML剪枝冗余注意力头抑制 LLM 逐字记忆：GPT-2-XL 实验表明 729 个头削减可减少 91.5% 记忆
在推理阶段剪枝 LLM 的冗余注意力头可显著抑制逐字记忆，无需重新训练或修改数据。在 GPT-2-XL(1.5B) 上剪除 729 个任务冗余头，记忆序列数量降低 91.5%，WikiText-103 困惑度改善 0.92。该发现表明利用注意力头冗余性可在推理时缓解隐私与知识产权泄露风险。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。