跳到正文
arXiv · NLP· JiWoo Hwang, Lukas Edman, Alexander Fraser·· 2026-10-15AI 评分23

BabyLM 多语言预训练中语言暴露分布与顺序的影响

Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training

AI 导读

在包含英语、荷兰语和中文的多语言 BabyLM 预训练中,混合训练在 15 种匹配配置中全部优于课程训练,同时多语言表现受语言暴露数量与顺序共同影响。 语言主导型混合训练中的部分配置得分高于均衡配置,且荷兰语主导配置取得最佳整体性能。 该结果表明在当前小规模数据设定下,均衡语言分布并非最高性能方案,同时多语言暴露优于分阶段暴露。

来源:arXiv · NLP · arxiv.org