arXiv · NLP· Saeid Asgari, Rui Ying, Sara Malvar, Rakshanda Agarwal, Bruce Sun, Claire Wang, Leonardo de Oliveira Nunes, Ranveer Chandra·· 4 小时前AI 评分26
基于清单的 LLM 评判中，Shapley 归因揭示评分标准而非评判模型主导结果
Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges
AI 导读
在固定评判模型和输出内容时，修改评分标准（rubric）使正确输出的通过率从 2% 变为 100%，而更换评判模型仅带来几个百分点的变化。 模型自我审查会添加未陈述的要求并删除人类标注的关键检查项。利用 Shapley 值的闭式解可线性时间计算每项检查的贡献，从而控制审查导致的标准漂移，保持修订后质量与起始质量一致。
来源：arXiv · NLP · arxiv.org