arXiv · NLP· Tianyi Hu, Bhavyajeet Singh, Niket Tandon, Akhil Arora·· 4 小时前AI 评分39
搜索增强LLM在快速演变知识推理中的失败机制分析：TREK框架
Where and Why Search-Augmented LLMs Fail When Reasoning over Rapidly Evolving Knowledge
AI 导读
TREK框架揭示搜索增强LLM在快速演变知识推理中的主要瓶颈并非检索，而是检索后推理阶段。模型在获取所有必要信息后，仍易被相互矛盾的证据误导，导致最终回答错误。 研究构建了包含时间性、相关性及可信度干扰项的受控基准TREKBENCH-CTRL。结果表明，现有基准若主要由过时干扰项主导，会大幅低估任务难度，从而无法准确评估模型真实能力。
来源：arXiv · NLP · arxiv.org