arXiv · NLP· Jing Yang, Nils Feldhus, Salar Mohtaj, Leonhard Hennig, Qianli Wang, Eleni Metheniti, Sherzod Hakimov, Charlott Jakob, Veronika Solopova, Konrad Rieck, David Schlangen, Sebastian M\"oller, Vera Schmitt·· 2026-10-14AI 评分29
NLG 评测趋势 2020-2025 元分析:衡量什么?
What Are We Measuring in NLG? A Meta-Analysis of Evaluation Trends 2020-2025
AI 导读
一项针对 3,334 篇 NLG 论文的元分析发现,LlaJ 使用率超过人工评测,但仅 8% 论文进行人工验证。 分析揭示三大系统问题:BLEU/ROUGE 指标惯性、通用自动指标缺乏明确评测维度映射,以及 LlaJ 在细粒度标准上与人类判断对齐度崩塌。 团队据此提出最小化“评估清单”,以指导指标选择、构念效度及 LlaJ 部署。
来源:arXiv · NLP · arxiv.org