基于六个 LLM 基准测试评估 IRT 在 AI 评测中的可靠性

研究通过 18,000 次模拟实验表明，标准 IRT 估计器在大型 AI 基准测试中常面临计算不可行性或结果不可靠的挑战。实验对比了 4 种估计器，并基于 6 个广泛使用的 LLM 基准测试数据，系统评估了其在模型排名和性能预测上的差异。 该研究发表于 NeurIPS 2026 评测与数据集赛道，指出了潜在特质模型在支持或扭曲 AI 基准测试结论时的边界条件。