跳到正文
arXiv · NLP· Kevin Glocker, K\"atriin Kukk, Romina Oji, Marcel Bollmann, Marco Kuhlmann, Jenny Kunz·· 11 天前AI 评分26

克服多语言灾难:面向高效语言适应的规模扩展策略

Outgrowing the Curse of Multilinguality: Scaling Strategies for Efficient Language Adaptation

AI 导读

研究表明,通过放大模型规模(upscaling)比标准继续预训练更高效地适应该语言,尤其能缓解容量限制,显著提升资源较丰富语言的目标性能。 对于低资源语言,在英语基础上先进行初步放大步骤有益;而在高资源场景下,直接在目标语言上进行放大计算效率更高,但可能牺牲数据效率。 该文发表于 Findings of AACL-IJCNLP 2026,系统验证了不同放大策略在多语言场景下的效率与性能权衡。

来源:arXiv · NLP · arxiv.org