选择性微调LMM平衡新技能与旧能力研究发布

研究人员Zhen Zhu等人发现，对大型多模态模型进行选择性微调，可在习得新技能与保留旧能力之间取得良好平衡。该方法具体包括仅更新自注意力投影层（SA Proj.），或仅更新MLP门控与上升投影（MLP Gate&Up）。（50-100字） 实验数据显示，自注意力投影层调整带来新技能学习提升24.9、遗忘减少0.6；MLP调整则提升30.5、遗忘减少2.1。研究在LLaVA-OneVision、LLaVA-NeXT和Qwen2.5-VL三个模型家族上验证，覆盖五项目标技能及八项通用能力基准。（50-100字） 该研究聚焦于顺序微调中的抗遗忘机制，相关代码将对外公开，为后续多模态模型能力演进与参数高效微调提供可复现的实验基础。（50-100字）

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。