arXiv · ML· Nikit Srivastava, Joel Dag, Ren\'e Speck, Axel-Cyrille Ngonga Ngomo·· 2 天前AI 评分25
MoE-LoRA 方法用于多语言适应:一项系统性实证研究
MoE--LoRA Methods for Multilingual Adaptation: A Systematic Empirical Study
AI 导读
研究者对比了 8 种 LoRA 方法在 200 种语言及 9000 多种评估设置下的表现,发现小尺度搜索无法可靠预测全量排名。 LoRA 在翻译数据上稳定提升模型拟合度,但削弱阅读理解能力,且对低资源语言获益最大。因此,LoRA 应被视为针对性工具而非通用多语言增强手段。
来源:arXiv · ML · arxiv.org