arXiv · ML· Rylan Schaeffer, Sanmi Koyejo·· 5 小时前AI 评分33
分词器研究三大迷思:BPB 并非模型无关
Tokenizer Myths and Where To Find Them
AI 导读
该研究指出 BPB 分数并非模型无关,其与 tokenizer 和词表大小相关。 未训练模型中 BPB 偏好特定词表,但与下游任务性能仅弱相关。 修正混淆因素后,“单语归一化损失”与 BPB 的相关性从 0.989 降至 0.057。
来源:arXiv · ML · arxiv.org