LSIRM方法揭示LLM基准测试中模型-题目交互差异

2026年11月3日，Jinwen Luo等人发表研究论文，介绍潜在空间项目反应模型（LSIRM）在语言模型基准测试中的应用分析。 该研究通过LSIRM方法分析了1,348个语言模型在5,761道BBH题目上的表现，揭示了总分数掩盖的模型与题目之间的交互差异。 研究发现，当使用选项标签（如A、B、C、D）评分时，LSIRM映射中相近的题目往往拥有相同的正确答案。进一步分析表明，剔除答案类别的贡献后，两个总分仅相差14题的模型排名会发生数百位的互换。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。