arXiv · NLP· Madhu Sudhan Rao Beesetty, Surbhi Sharma, Devesh Maheshwari, Lokesh Meesala·· 11 天前AI 评分34
罗马化印度语生成:自动指标失效与评估框架缺陷
The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed
AI 导读
研究证明BGE-M3和BERTScore等自动指标系统性误判罗马化印地语、泰卢固语及卡纳达语的质量。在4个LLM评测中,GPT-5.5比Claude Opus 4.8高1.43分,但自动指标差异仅为0.004。Gemini存在16.9%的脚本混用,Qwen3.5-35B有16.2%的印度语输出坍缩为英语。
来源:arXiv · NLP · arxiv.org