arXiv · NLP· Manan Uppadhyay, Himanshu Beniwal, Prashant Kodali, Sunayana Sitaram·· 5 小时前AI 评分35
多语言情境化评估的现状与命运:NLP 领域的基准审计
The State and Fate of Multilingual, Contextual Evaluation in the NLP World
AI 导读
研究者审计了51个涵盖219种语言的多语言基准,指出覆盖广但单薄,36%的语言仅被单一基准评估,且高资源语言评测任务数远超低资源语言。 56%的数据集通过翻译英语构建,导致文化代表性不足,且存在基准污染问题。 作者建议构建原生、文化扎根且抗污染的评价框架,以更好地服务语言社区。
来源:arXiv · NLP · arxiv.org