CLEAR研究揭示AI非英语语言分词器税现象

Coalition for Language Equity in AI Research（CLEAR）于2026年10月发布研究，揭示AI模型处理非英语语言时需消耗更多tokens，形成隐性“分词器税”。 该研究发现，部分非英语语言的成本比英语高1.5至5倍；若扩展到200种语言，成本差距更可增至17倍。 除费用增加外，分词器税还导致更高的延迟和更低的上下文容量，对计算资源有限的地区影响尤为显著。 研究指出，改进底层数据和优化分词器设计是解决这一问题的关键路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。