尼泊尔语分词器优化方案发布
热点事件持续更新
尼泊尔语分词器优化方案发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月，研究人员指出合并式词汇扩展在预分词器环节停滞，导致Llama-3和Qwen3分词器处理尼泊尔语时token消耗高达英语的2.6至5.8倍。 为修复该问题，作者对部署的正则表达式进行了微小调整，确保不含组合标记或天城体字符的文本tokenID保持不变。在Llama-3.2-1B和Qwen3-0.6B模型的持续预训练测试中，通过增加3.2万个新合并项，尼泊尔语token量降至英语的1.01倍，比标准扩展减少54%。 作者已公开发布相关的tokenizer和代码，该修复方案在保留英语处理能力的同时，显著提升了尼泊尔语的分词效率。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
基于合并的词汇扩展在预分词器处停滞：一种保留英语的尼泊尔语修复方案报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · NLP基于合并的词汇扩展在预分词器处停滞：一种保留英语的尼泊尔语修复方案
合并式词汇扩展无法解决 Llama-3 和 Qwen3 分词器对尼泊尔语的多余分词问题，导致其 token 消耗比英语多 2.6 至 5.8 倍。 修复正则表达式后，使用 3.2 万个新合并项可将尼泊尔语 token 量降至英语的 1.01 倍，比标准扩展减少 54%。 该修复在 Llama-3.2-1B 和 Qwen3-0.6B 的持续预训练中被测试，作者已发布相关 tokenizer 和代码。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。