arXiv · AI· Johin Johny Arimbur, Ankur Ashit Ghosh, Shervin Sam·· 9 天前AI 评分26
Havon 分词器在204种语言中比 GPT-4o 使用更少 Tokens
A Multi-Word Tokenizer for 204 Languages That Needs Fewer Tokens Than GPT-4o's, Including on English
AI 导读
Havon v5 分词器在204种语言中表现优于 GPT-4o o200k_base,其中印度25种语言所需 token 数为 GPT-4o 的中位数 0.74。 该分词器采用多词训练阶段,在 GPT-4o 同词汇量下比 GPT-4o 少用 6.1% 的 token,且在英语中需 0.94 倍 token 数。 目前结果仅展示压缩效率,尚未评估使用 v4 或 v5 训练的语言模型性能。
来源:arXiv · AI · arxiv.org