arXiv · NLP· Xiaomeng Xiong, Marcus Walker, Yanlin Jiang·· 5 小时前AI 评分22
开放权重 LLM 作为考官与考生用于医学题目难度预测
LLMs as Judges and Examinees for Medical Item Difficulty Prediction
AI 导读
开放权重 LLM 通过裁判绝对评分/成对比较及考生模拟答题信号（正误率、选项概率、熵、概率差）预测医学题难度。 在 USMLE 和 PANCE 数据集上，结合 LLM 信号与基线特征的最佳模型 Spearman 相关系数分别达 .447 和 .494，优于 2024 BEA 共享任务最优系统（.25），且接近 Claude Opus 5 绝对判断性能（.443/.488）。
来源：arXiv · NLP · arxiv.org