arXiv · ML· Yuchen Li, Mingyu Du, Zongqi Fan, Nguyen H. Tran, Ken-Tye Yong·· 3 天前AI 评分30
梯度空间路由:均衡使用不等于专家专业化
Routing in Gradient Space: Balanced Usage Is Not Expert Specialization
AI 导读
研究者提出梯度对齐路由(GAR)方法,将稀疏专家模型路由视为梯度划分问题。在五个多任务文本分类混合集上,GAR 聚合验证准确率比仅任务损失路由高 1.07 个百分点。使用冻结 DeBERTa 和 Qwen3-1.7B 骨干时,准确率领先 1.10 点,且专家负载更均衡。
来源:arXiv · ML · arxiv.org