研究揭示LLM整合演变医学知识存系统性失败

研究团队提出ChronoEvo基准，测试14个大型语言模型对1709项医学指南修订的整合能力，聚焦动态知识处理表现。该基准旨在评估模型识别与完整纳入指南修订的实际效果，为临床AI可靠性提供量化依据。 测试结果显示，90.8%的回复能识别出修订，但仅58.5%完整纳入指南，形成32.3个百分点的识别-整合缺口。这一数据表明，模型在识别变更后未能有效转化为完整知识整合，暴露出动态知识更新中的系统性短板。 该缺口在两项临床医生评估中得到验证，涉及300条回复，显示40.3个百分点的缺口。结果证实忠实整合动态知识是临床LLM可靠性的独特挑战，提示现有模型在医学指南更新场景中仍存在显著局限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。