arXiv · AI· Ilker Kesen, Jenny Kunz, Kasra Malihi, Desmond Elliott·· 16 小时前AI 评分29
MPIXEL 模型揭示像素语言模型的多语言预训练扩展规律
Scaling Multilingual Pretraining of Pixel Language Models
AI 导读
研究团队训练 MPIXEL 模型系列，在覆盖 83 种语言的五项任务中发现，增加语言、脚本或容量均能局部提升对应维度的表现，且更大容量缓解了多语言预训练的诅咒。
来源：arXiv · AI · arxiv.org