AdaptTok-Indic 分词器发布

2026年10月27日，arXiv 发布论文《AdaptTok-Indic：面向印度语言的脚本感知自适应分词器》。该分词器针对印度语言特性设计，核心机制是结合 Unicode 预处理与印地语连字处理。 在性能评估中，AdaptTok-Indic 在孟加拉语和印地语测试集上表现优于传统方案。报道指出，其 token 肥力率（token fecundity）低于 SentencePiece BPE，这意味着在处理这两种语言时，模型所需的 token 数量更少，从而可能提升推理效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。