研究揭示多模态模型LoRA后训练导致跨模态遗忘
热点事件持续更新
研究揭示多模态模型LoRA后训练导致跨模态遗忘
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
arXiv发布论文《Cross-Modal Forgetting and Transfer in Unified Multimodal Post-Training》，针对Janus-Pro-7B模型开展实验。研究发现，LoRA后训练在单次运行时，未训练的威尔士语能力保留完好，且困惑度降低76%。然而，在连续三次的链式训练中，先前习得的能力被摧毁，通用文本困惑度升高一至两个数量级。这表明单次训练看似安全，但连续操作会导致未训练模态性能崩溃。
AI 根据报道生成 · 3 小时前更新
最新进展10月20日 12:00
Janus-Pro-7B 统一多模态模型的后训练跨模态遗忘与迁移分析报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · AIJanus-Pro-7B 统一多模态模型的后训练跨模态遗忘与迁移分析
在 Janus-Pro-7B 模型上，LoRA 后训练导致显著的跨模态遗忘：单次训练看似安全，但连续三次训练会摧毁先前习得的能力，并使通用文本困惑度升高一至两个数量级。 单次运行中，未训练的威尔士语保留完好，且其困惑度降低 76%；但在链式训练中，由于优化目标仅约束被训练的模态，未训练模态的性能随之崩溃。将学习率降低至五分之一无法阻止崩溃，而锚定未训练的模态头可消除损害且不影响学习效果。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 810月20日 21:00
- 近 24 小时变化
- –
02468
21:0022:0023:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。