跳到正文
arXiv · AI· William DeShong, Barath Kannan, Auberon Palma, Brenda Bradshaw, James F. Leathrum, Jr., Yuzhong Shen·· 10 小时前AI 评分23

无基准真值筛选 LLM 评审:AI 牙科保健教练的初步评估

Screening LLM Judges Without Ground Truth: A Preliminary Evaluation of an AI Dental Hygiene Coach

AI 导读

该研究提出分阶段流水线,在专家评审前筛选 LLM 评审与模型,避免昂贵的人工评估。 测试采用合成数据,对比 Granite-4.1-8B 和 Qwen3-8B 两个微调模型及 5 个评审。结果发现部分本地评审与托管评审高度相似,且未显出偏好偏差,但学生模型未决出胜负。 因缺乏专家评分验证,结果仅为初步,后续需锚定专家判断以确认临床效果。

来源:arXiv · AI · arxiv.org