跳到正文
arXiv · NLP· Jack Lu, Zhenbang Yang, Mike Lasby, Tejas Pote, Yani Ioannou, Mengye Ren·· 10 天前AI 评分26

零化不到 0.05% 权重即可匹配全量微调:LLM 后训练中的 Deletion Tuning

The Surprising Effectiveness of Deleting Weights in LLM Post-Training

AI 导读

Deletion Tuning 通过零化 LLM 中不到 0.05% 的权重,在强化学习、监督微调及在线策略蒸馏三种后训练范式下达到了全量微调(FFT)的效果。 该方法通过训练 Transformer 块中门控投影的二进制掩码实现,掩码比 FFT 检查点小数百至数千倍,且遗忘程度显著更低。 相比 LoRA 和随机稀疏微调,在强化学习下其先前任务准确率保持在基础水平附近,而后者最多损失 5.4 分。

来源:arXiv · NLP · arxiv.org