跳到正文
arXiv · NLP· Jun-Tao Tang, Zhen-Hao Xie, Yu-Cheng Shi, Da-Wei Zhou·· 13 小时前AI 评分28

CRAM: 多模态持续指令微调中的质心路由与自适应 MoE

CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tuning

AI 导读

研究提出 CRAM 框架,通过隔离任务模块缓解多模态 LLM 持续微调中的灾难性遗忘,并利用自适应秩实例化实现高效参数分配。 该方法采用质心引导路由激活现有专家,辅以正交性惩罚限制更新方向,在多模态基准实验中表现出优于现有方法的优势,代码已公开。

来源:arXiv · NLP · arxiv.org