arXiv · ML· Jinwen Luo, Han Jiang, Ziang Xiao, Susu Zhang·· 11 小时前AI 评分28
利用LSIRM诊断语言模型基准测试中的模型-题目交互
Diagnosing Model--Item Interactions in Language Model Benchmarks with LSIRM
AI 导读
LSIRM方法通过分析1,348个语言模型在5,761道BBH题目上的表现，揭示了总分数掩盖的模型-题目交互差异。 研究发现，使用选项标签（如A、B、C、D）评分时，LSIRM映射中相近题目往往拥有相同正确答案，且剔除答案类别贡献后，两个总分仅差14题的模型排名会发生数百位互换。
来源：arXiv · ML · arxiv.org