开放权重LLM用于医学试题难度预测研究

2026年10月28日，Xiaomeng Xiong等研究人员在arXiv发布论文《开放权重LLM作为考官与考生用于医学题目难度预测》。该研究利用开放权重大型语言模型，通过裁判绝对评分、成对比较及模拟考生答题信号，预测医学试题难度。相关指标包括正误率、选项概率、熵及概率差。研究在USMLE和PANCE数据集上进行测试，结合LLM信号与基线特征的最佳模型，Spearman相关系数分别达到0.447和0.494。这一结果优于2024年BEA共享任务最优系统的0.25，并接近Claude Opus 5绝对判断性能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。