跳到正文
arXiv · ML· Hanyu Yang·· 1 天前AI 评分20

固定权重下的对数校正:语言模型微调遗忘问题的限制与恢复上限

Less Loss, Fixed Weights: Logit Corrections for Forgetting

AI 导读

语言模型微调后的遗忘无法通过固定词表偏置完全消除,跨14组1B至7B模型测试显示,最大Top-4K偏置恢复率低于10%。 加入温度参数后恢复率最高可达36%,但数学再训练模型恢复效果接近零,随机受损模拟中该修复方案仍仅恢复29%。

来源:arXiv · ML · arxiv.org