arXiv · AI· Carole Lunny, Ian Goodman, Stefano Berrone, Connor TA Brenna, Emma K Reid, Ivan Perez-Neri, Shailesh Kolekar, Nityanand Jain, Ashwin Kamath, Lucas HCC Santos, Yulia Otmakhova, Heba Hussein, Diana M Cespedes, Gioia Dahdal, Salmaan Kanji·· 9 小时前AI 评分32
提出 TRAILS 分类法：剖析 LLM 循证合成“阅读与评估”任务的失败机制
When the Same Prompt Gives Different Answers (and the Same Answer Isn't Always Right): A Taxonomy of Failure Mechanisms, Testing, and Mitigation Strategies for LLM-Assisted Evidence Synthesis Read-and-Evaluate Tasks
AI 导读
针对 LLM 循证合成中的“阅读与评估”任务，研究者提出 TRAILS 分类法，识别 38 种导致判断不可靠或结果不一致的失败机制。该分类法阐明了重复运行产生差异的原因，以及判断正确但不受证据支持的隐蔽失效模式。 研究提供了测试这些机制的方法及缓解策略，并论证了可重复性或准确率无法排除隐藏判断失败，强调人工评估必须验证判断基于给定证据且过程可审查。
来源：arXiv · AI · arxiv.org