arXiv · NLP· Miguel Fernandez-de-Retana, Unai Zulaika, Ruben Sanchez-Corcuera, Aritz Bilbao-Jayo, Aitor Almeida·· 3 小时前AI 评分37
开放 LLM 在西班牙 MIR 考试中的不确定性、推理与图像使用研究
Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
AI 导读
研究评估四个参数量 8 至 270 亿的开放模型在西班牙 MIR 考试中的表现，三个大模型预计排名在约前 600 至 3000 名之间，可报考 41 至 43 个专业。 模型从不弃权，因为即使最不确定的答案正确率也高于 25% 的盈亏平衡点；医疗微调降低了过度自信但降低准确率且未改善置信度区分力，且 13%-38% 的正确答案基于临床依据不足的原因，移除或替换图像后准确率不变。
来源：arXiv · NLP · arxiv.org