跳到正文
arXiv · NLP· Pierre-Carl Langlais, Pavel Chizhov, Catherine Arnett, Carlos Rosas-Hinostroza, Mattia Nee, Eliot Krzystof Jones, Ir\`ene Girard, David Mach, Anastasia Stasenko, Ivan P. Yamshchikov·· 2026-10-07AI 评分29

Common Corpus: LLM 预训练最大开源伦理数据集

Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

AI 导读

论文提出 Common Corpus,这是目前最大的 LLM 预训练开源数据集,总规模约 2 万亿 token。 数据均无版权或采用开放许可证,涵盖高资源及低资源语言,并包含大量代码数据。 基于该数据训练的模型性能与同级模型相当,表明其适用于多语言预训练,推动了 LLM 开放科学生态发展。

来源:arXiv · NLP · arxiv.org