arXiv · AI· Francesco Colasurdo, Ivan Slobozhan, Joaquin Vanschoren, Anna Vettoruzzo·· 12 小时前AI 评分22
Janus-Pro-7B 统一多模态模型的后训练跨模态遗忘与迁移分析
Cross-Modal Forgetting and Transfer in Unified Multimodal Post-Training
AI 导读
在 Janus-Pro-7B 模型上，LoRA 后训练导致显著的跨模态遗忘：单次训练看似安全，但连续三次训练会摧毁先前习得的能力，并使通用文本困惑度升高一至两个数量级。 单次运行中，未训练的威尔士语保留完好，且其困惑度降低 76%；但在链式训练中，由于优化目标仅约束被训练的模态，未训练模态的性能随之崩溃。将学习率降低至五分之一无法阻止崩溃，而锚定未训练的模态头可消除损害且不影响学习效果。
来源：arXiv · AI · arxiv.org