arXiv · ML· G. L. John Salvin (Indian Institute of Technology Palakkad), Swapnil Hingmire (Indian Institute of Technology Palakkad)·· 2026-10-07AI 评分28
诊断并修正印地语机器翻译评测中由分词器引起的脚本偏差
Making COMET Comparable Across Scripts: Diagnosis and Correction of Tokeniser-Induced Script Bias in Indic MT Evaluation
AI 导读
研究指出 COMET 在印地语翻译评测中存在脚本偏差,脚本身份解释了 22.9% 的分数方差。 COMET-QN 方法将不同语言脚本的分数映射到共享参考系,使联合标注一致性从 0.300 提升至 0.399。 该方法保留语言内排序,解决了跨脚本可比性问题,WMT 2026 会议录用此论文。
来源:arXiv · ML · arxiv.org