跳到正文
arXiv · NLP· Avinash Benki, Prasanjith Pasunuti, Sutanshu Saksena Raj, Parijat Chatterjee, Nayanjit Sarkar, Daksh Maan·· 2026-10-14AI 评分31

Nemotron-3-Nano-30B-A3B 的原位印地语分词器扩展与持续预训练

In-Place Indic Tokenizer Expansion and Continual Pretraining of Nemotron-3-Nano-30B-A3B

AI 导读

Nemotron-3-Nano-30B-A3B 支持 8 种印度语言,词表从 131,072 扩至 163,072,词内 token 数降低 38.6%。 经 1.27 万亿 tokens 持续预训练后,Indic MILU 基准提升 12.9 分,但英语 MMLU 下降 3.4 分。 该研究展示了在不改变主干架构下扩展多语言能力的技术路径。

来源:arXiv · NLP · arxiv.org