跳到正文
arXiv · NLP· Parv Khatri, Harshul Jain, Mehak Kapoor, Tanya Sah·· 5 小时前AI 评分30

决策模型在 RAG 知识冲突分类中的表现:能否替代 LLM 识别冲突原因?

Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG

AI 导读

研究发现 11 个决策模型在 CONFLICTS 基准上准确率达 50.0%-67.0%,10 个模型成本比 Gemini 2.5 Flash 低 4-39 倍、延迟低 2.6-6.0 倍,且生成的回答行为与 LLM 一致。 通过级联方案将低置信度查询转发给 Gemini 3.8 Flash,在 25%-37% 的成本下统计上打平其精度,验证了决策模型在 RAG 系统中作为快速分类层的可行性。

来源:arXiv · NLP · arxiv.org