基于合并的词汇扩展在预分词器处停滞：一种保留英语的尼泊尔语修复方案

合并式词汇扩展无法解决 Llama-3 和 Qwen3 分词器对尼泊尔语的多余分词问题，导致其 token 消耗比英语多 2.6 至 5.8 倍。 修复正则表达式后，使用 3.2 万个新合并项可将尼泊尔语 token 量降至英语的 1.01 倍，比标准扩展减少 54%。 该修复在 Llama-3.2-1B 和 Qwen3-0.6B 的持续预训练中被测试，作者已发布相关 tokenizer 和代码。