arXiv · NLP· Clara Meister, Suchir Salhan, Andrzej Szablewski, Pietro Lesci, Paula Buttery, Tiago Pimentel·· 3 小时前AI 评分27
LangMAP: 一种语言自适应的Tokenization方法
LangMAP: A Language-Adaptive Approach to Tokenization
AI 导读
LangMAP扩展UnigramLM算法至多语言场景，通过为同一词表生成每种语言的独立分布，支持从头训练多语言模型或在不改变词表的情况下适配预训练模型的Tokenizer。
来源：arXiv · NLP · arxiv.org