arXiv · ML· Babak Barazandeh, Subhabrata Majumdar, Vinay Prithyani, George Michailidis·· 2 天前AI 评分29
Localized LoRA-MoE:结合自适应路由的低秩专家混合架构
Localized LoRA-MoE: Mixture of Low-Rank Experts With Adaptive Routing
AI 导读
Localized LoRA-MoE 提出结合空间分块与上下文条件专家路由的框架,解决 LoRA 训练中的梯度干扰。 架构包含中心化与去中心化两种变体,在结构化基准中优于静态基线;在 Qwen2.5-1.5B 模型上,去中心化路由比 LoRA 高 3.9 分,匹配 6 倍预算的专用适配器效果。
来源:arXiv · ML · arxiv.org