arXiv · NLP· Anubhav Jangra, Adrian de Wynter·· 2026-10-15AI 评分36
多语言风格个性化生成指标元评估:如何寻找优秀评估指标
Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation
AI 导读
提出基于回归的指标元评估框架,通过校准指标输出预测人类评分,并构建覆盖 10 种语言和 4 个维度的多语言风格生成基准。 元评估 32 个指标显示,校准后的字符串和嵌入方法可匹敌 LLM 裁判,并识别了集成优于个体的条件。 该方法解决了相关系数不稳定的问题,提供跨评估设置下指标能力的可比度量。
来源:arXiv · NLP · arxiv.org