跳到正文
arXiv · AI· Ben Gubler·· 2026-10-08AI 评分35

Tokka-Bench: 跨 100 种自然语言和 20 种编程语言的 Tokenizer 评估框架

Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages

AI 导读

推出开源框架 Tokka-Bench,使用 5 项互补指标评估 tokenizer 在 100 种自然语言(30+ 文字系统)和 20 种编程语言上的表现。

来源:arXiv · AI · arxiv.org