大型多模态模型技能习得中的选择微调方法

研究人员发现，通过选择性微调大型多模态模型可以在新技能习得与旧能力保留间取得良好平衡。 具体方法包括仅更新自注意力投影层（SA Proj.，$\Delta$学习+24.9 / $\Delta$遗忘-0.6），或仅更新MLP门控与上升投影（MLP Gate&Up，+30.5 / -2.1）。