跳到正文
arXiv · NLP· Eeham Khan, Richard Khoury, Leila Kosseim·· 13 小时前AI 评分24

持续预训练在魁北克法语方言适应中何时有效?基于九种 LLM 的对照研究

When Does Continual Pre-Training Help? A Controlled Study of Dialectal Adaptation for Qu\'ebec French

AI 导读

针对魁北克法语的持续预训练(CPT)收益取决于基模型对目标方言的现有能力,并非普遍有益。 实验采用 30M token 预算,发现语料构成(特别是文学文本)比数据量更关键;CPT 主要提升表达理解而非语法,且会导致阅读理解能力下降。

来源:arXiv · NLP · arxiv.org