TRAILS分类学：剖析LLM循证合成失败机制

研究者Carole Lunny等针对LLM在循证合成中“阅读与评估”任务的可靠性问题，提出了TRAILS（Taxonomy of Reliability And Instability in LLM-assisted evidence Synthesis）分类法。该分类法系统识别了38种导致判断不可靠或结果不一致的失败机制，揭示了重复运行产生差异的原因，并指出即使判断正确也可能存在不受证据支持的隐蔽失效模式。 研究进一步提供了测试这些失败机制的方法及相应的缓解策略，强调单纯的可重复性或准确率指标无法排除隐藏判断失败。研究者主张人工评估必须验证LLM判断基于给定证据且推理过程可审查，为优化LLM辅助证据综合的评估方法提供了新框架。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。