arXiv · NLP· Jiashuo Zhang, Yuling Chen, Yvonne Commodore-Mensah, Michael Oberst·· 7 天前AI 评分26
LLM 临床回答如何凭原文引用实现可验证性:14 款模型评测
Verifiable by Construction: How Well Do LLMs Substantiate Their Clinical Claims with Verbatim Quotes?
AI 导读
研究评测14款LLM在222个临床问题中通过逐字引用支撑事实声明的能力,多数模型可为超90%的声明提供引用。 Claude Opus 5 能为98.0%的声明生成逐字引用,但仅37.1%的引用能完全支撑声明细节,而Claude Haiku 4.5等轻量模型表现较弱。 该工作揭示了当前LLM在构建可验证临床问答系统时的能力差距,并发布了评估框架与研究工件。
来源:arXiv · NLP · arxiv.org