研究揭示AI模型非英语语言使用成本更高的“分词器税”现象

Coalition for Language Equity in AI Research 发布的研究发现，AI模型处理非英语语言时需要消耗更多tokens，形成隐性的“分词器税”，部分语言成本比英语高1.5至5倍，扩展到200种语言时成本差距增至17倍。该现象不仅增加费用，还导致更高的延迟和更低的上下文容量，尤其影响计算资源有限的地区；研究指出改进底层数据和优化分词器设计是解决关键。