arXiv · NLP· Atharva Thakur, Abulhair Saparov, Bruno Ribeiro·· 2026-10-21AI 评分41
DeclineCraft:衡量RAG与参数化知识联合拒答的基准
DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge
AI 导读
27个LLM在Minecraft后续特性拒答测试中,单次检索显著提升正确拒答率(CAR)。 迭代RAG使CAR降至46.4%但答案准确率仅微增;模型规模与CAR无显著关联。 该基准通过语料截止设定支持对未来模型进行动态评估。
来源:arXiv · NLP · arxiv.org