arXiv · AI· Ziang Wu, Peng Jin, Qishen Yin, Munan Ning, Hao Li, Peizhen Zhang, Huihui Zhou, Li Yuan·· 16 小时前AI 评分26
ReBA 解决视觉语言混合专家模型在分辨率变化下的负载均衡难题
Relax Within, Balance Across: Load Balancing under Composition Shifts in Vision-Language Mixture-of-Experts
AI 导读
ReBA 算法通过分离模态损失并均权图像,解决了视觉语言混合专家模型在推理时因图文比例变化导致的负载失衡。 该方法在四种骨干网络中验证有效,在保持准确率的同时,实现了不同分辨率、分块及图像数量下的稳定均衡。 针对原生混合专家模型的模态差异,该方案在原生后训练中展现了应用潜力。
来源:arXiv · AI · arxiv.org