arXiv · AI· Zhihong Huang, Yao Lu, Derek F. Wong, Hamid Alinejad-Rokny, Min Yang·· 29 天前AI 评分41
如何利用平行数据实现多语言预训练
How to Use Parallel Data for Multilingual Pretraining
AI 导读
研究者提出结合平行预训练与标准预训练的两阶段方法,在同等计算预算下持续提升多语言理解与跨语言任务表现。 该方法首先通过平行预训练建立跨语言基础,再使用标准预训练适应单语任务输入,有效克服了传统独立采样无法利用平行结构的问题。 该策略在高资源与低资源场景中均优于纯标准预训练。
来源:arXiv · AI · arxiv.org