LangMAP多语言自适应分词方法发布

2026年10月27日，Clara Meister等人在arXiv发布论文，提出了一种名为LangMAP的语言自适应分词方法。该研究扩展了UnigramLM算法，通过为同一词表生成每种语言的独立分布，将单语言算法适配至多语言场景。这种方法主要支持两种应用路径：一是支持从头训练多语言模型，二是在不改变原有词表的情况下，直接适配预训练模型的Tokenizer，从而提升了多语言模型在处理不同语言时的灵活性与效率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。