arXiv · ML· Xi Zhang, Boyu Diao, Zesen Chen, Ruiqi Liu, Hangda Liu, Yongjun Xu·· 2026-10-12AI 评分33
Monarch-MoE:面向多模态持续指令微调的结构化专家
Monarch-MoE: Structured Experts for Multimodal Continual Instruction Tuning
AI 导读
Monarch-MoE 引入块对角因子替代 LoRA 专家中的稠密因子,解决多模态持续指令微调中的灾难性遗忘。在 LLaVA-1.5-7B 上,该方法将适配器参数量分别减少约 75% 和 50%,首任务遗忘降至 0.52 和 0.10 个百分点。该技术可在单张 24 GB RTX 4090 上运行,使结构化专家在内存受限硬件上具备实际可用性。
来源:arXiv · ML · arxiv.org