跳到正文
arXiv · ML· Abdul Rehman Antall, Baidya Nath Saha·· 2026-10-16AI 评分35

Tagalog 词法正确性对分词有影响吗?一项乱序对照研究

Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog

AI 导读

研究表明,在 Tagalog 机器翻译中,形态学正确性在大规模实验中未显示显著贡献。MorphAustro-Tok 分词器相比 BPE 基线提升了 0.84 至 3.40 点 chrF++ 分数。 通过 33 次运行对比,发现乱序形态学对照组的性能波动小于种子间差异,且参数量增加未带来提升,表明增益并非源于词法边界准确性。

来源:arXiv · ML · arxiv.org