跳到正文
arXiv · AI· Johin Johny Arimbur, Ankur Ashit Ghosh, Shervin Sam·· 9 天前AI 评分30

2026年印度语言“Token税”:量化分词器差异及其成本

The Indic Token Tax in 2026: Measuring Tokenizer. Disparity and Its Cost for the Languages of India

AI 导读

研究发现GPT-4o分词器在处理印地语至奥里亚语时,Token用量是英语的1.57至5.01倍,GPT-4分词器最高达12.8倍。 在示例场景中,GPT-4o每月10万聊天的支持机器人,印地语或马拉地语成本约102,829 INR,高于英语的56,640 INR。 Sarvam-30B/105B是唯一在所有语言中Token膨胀率低于2.6倍的第三方分词器。

来源:arXiv · AI · arxiv.org