arXiv · NLP· Parv Khatri, Harshul Jain, Mehak Kapoor, Tanya Sah·· 5 小时前AI 评分30
决策模型在 RAG 知识冲突分类中的表现:能否替代 LLM 识别冲突原因?
Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG
AI 导读
研究发现 11 个决策模型在 CONFLICTS 基准上准确率达 50.0%-67.0%,10 个模型成本比 Gemini 2.5 Flash 低 4-39 倍、延迟低 2.6-6.0 倍,且生成的回答行为与 LLM 一致。 通过级联方案将低置信度查询转发给 Gemini 3.8 Flash,在 25%-37% 的成本下统计上打平其精度,验证了决策模型在 RAG 系统中作为快速分类层的可行性。
来源:arXiv · NLP · arxiv.org