研究揭示语言模型微调遗忘无法通过固定偏置完全消除

arXiv cs.lg 最新研究针对语言模型微调后的遗忘问题，测试了固定词表偏置的修复效果。研究覆盖14组1B至7B模型，结果显示最大Top-4K偏置的恢复率低于10%，证明仅靠固定权重下的对数校正无法完全消除遗忘。 引入温度参数后，恢复率最高可达36%，显示该策略在部分场景下有效。然而，对于数学再训练模型，修复效果接近零；在随机受损模拟中，该方案也仅恢复了29%的准确性，限制了其普适性。

AI 根据报道生成 · 1 天前更新