arXiv · ML· Abdul Rehman Antall, Baidya Nath Saha·· 7 天前AI 评分20
阿马拉语与豪萨语分词器对比中的粒度、词根分配与词级读出解耦分析
What Do Tokenizer Comparisons Measure? Disentangling Granularity, Root Assignment, and Word-Level Readout across Amharic and Hausa
AI 导读
研究指出分词器对比需解耦粒度、词根分配与词级读出。在阿马拉语实体识别中,真实词根分配提升 F1 达 4.9 点,且词根频率结构解释力有限。 小模型中读出选择可致 F1 波动 13.4 点并反转对比符号,而预训练编码器中该影响小于 1 点。建议分解分词器效应并报告读出方式。
来源:arXiv · ML · arxiv.org