arXiv · NLP· G\"ul Sena Alt{\i}nta\c{s}, Colin Raffel·· 10 天前AI 评分30
MoTo:面向公平多语言建模的混合分词器框架
MoTo: Mixture of Tokenizers Towards Fair Multilingual Language Modeling
AI 导读
提出模块化分词框架 MoTo,为每种语言训练专用 BPE 分词器并组成统一超集词汇。 在各语言保留独立归一化与词表预算的前提下,MoTo 在 21 种类型多样语言中的 18 种取得提升,且对英语的影响极小。 该结果表明模块化子词分词是实现多语言公平建模的可行且可扩展方案。
来源:arXiv · NLP · arxiv.org