arXiv · AI· Shuyang Cao, Karthik Radhakrishnan, David Rosenberg, Steven Lu, Pengxiang Cheng, Lu Wang, Shiyue Zhang·· 2026-10-05AI 评分37
大型语言模型检索鲁棒性评估
Evaluating the Retrieval Robustness of Large Language Models
AI 导读
针对大型语言模型在检索增强生成(RAG)场景下的检索鲁棒性,研究者构建了包含1,891个样本的基准测试集,并提出三项鲁棒性指标。实验覆盖11个LLM,发现模型鲁棒性随任务类型显著波动,RAG是否优于非RAG需逐案分析。 进一步实验表明,禁用推理功能会导致Qwen和GPT模型鲁棒性显著下降;而以工具响应形式提供检索文档能提升Claude模型表现,却损害Qwen和GPT模型的效果。
来源:arXiv · AI · arxiv.org