arXiv · AI· Mayank Sharma, Savira Nadela, Tyler Matteson·· 2026-10-06AI 评分39
HLE 多选题子集的心理测量分析:维度与测量精度
Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset
AI 导读
一项对 29 个 LLM 在 HLE 纯文本多选题子集上的心理测量分析发现,HLE 由单一通用推理因子主导,领域标签仅解释题目响应主成分 3.5% 的方差。 拟合双参数逻辑 IRT 模型后,域内与域间残差相关性几乎相同(Cohen's d = 0.016);测试信息函数显示测量精度集中在中等能力水平,在 θ = 0 以上急剧下降。
来源:arXiv · AI · arxiv.org