审计51个多语言基准发现缺陷

研究者 Manan Uppadhyay 团队发布数据驱动审计研究，对涵盖242个数据集、219种语言的51个多语言基准进行评估。研究围绕覆盖度、代表性及严谨性三个维度展开。 审计结果显示，尽管基准语言覆盖面广，但存在明显结构缺陷：36%的语言仅被单一基准评估，且高资源语言对应的评测任务数量远超低资源语言，分布不均。此外，56%的数据集通过翻译英语构建，导致文化代表性不足，并伴随基准污染问题。 针对现状，作者建议构建原生、文化扎根且具备抗污染能力的评价框架，以优化评估体系，更好地服务于各语言社区。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。