arXiv · NLP· Maria Contreras·· 9 小时前AI 评分33
QuechuaTok：形态边界准确率作为黏着语低资源分词器评估的必要指标
QuechuaTok: Morphological Boundary Accuracy as a Necessary Metric for Tokenizer Evaluation in Agglutinative Low-Resource Languages
AI 导读
summary_zh: 研究者提出 QuechuaTok 基准测试，评估四种分词策略在南方克丘亚语中的表现，发现 BPE 虽生育率最低（1.636）但形态边界准确率（MorphAcc）仅 6.67%。
来源：arXiv · NLP · arxiv.org