arXiv · ML· Mariya (Stanley College of Engineering,Technology for Women, Hyderabad, India)·· 7 天前AI 评分25
Qwen2.5-7B与Jais在阿英医疗问答中的校准与保形预测
Calibration and Conformal Prediction for Medical Question Answering in Arabic and English: Evidence from Two Non-Parallel Benchmarks
AI 导读
研究发现,在医疗多选问答中,Qwen2.5-7B和Jais模型的原始概率存在过度自信,单一温度参数可消除82%至93%的期望校准误差。 两个模型在4种设置下精度分别为0.561/0.430(Qwen)和0.369/0.308(Jais);保形预测达到90%覆盖率时,选项集平均包含63%至89%的选项。
来源:arXiv · ML · arxiv.org