Hugging Face Blog·· 3 天前精选AI 评分67
NVIDIA 发布 Nemotron-pretraining-Indic-v1 与 2.8 万亿 token 印度语开源预训练语料
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1，提供覆盖印度宪法所列 22 种语言的约 2.8 万亿 token 预训练语料，并同步开源 GPU 加速的合成数据生成管线。
推荐理由
2.8万亿token的印度语开源预训练语料与可复用的数据生成管线同步开放，给多语言模型开发者提供了直接可用的训练资源和扩展方法。
来源：Hugging Face Blog · huggingface.co