arXiv · AI· Min Zeng, Zaifu Zhan, Kai Yu, Rui Zhang·· 4 小时前AI 评分37
研究表明LLM在整合演变医学知识方面存在系统性失败
Large language models show systematic failures in incorporating evolving medical knowledge
AI 导读
研究团队提出ChronoEvo基准，测试了14个大语言模型对1709项医学指南修订的整合能力。 主模型中90.8%的回复识别出修订，但仅58.5%完整纳入指南，存在32.3个百分点的识别-整合缺口。 该缺口在两项临床医生评估（300条回复，40.3个百分点缺口）中得到验证，表明忠实整合动态知识是临床LLM可靠性的独特挑战。
来源：arXiv · AI · arxiv.org