arXiv · NLP· Hui Wang, Bohao Chu, Qianli Wang, Shuning Zhang, Norbert Fuhr·· 4 小时前AI 评分33
MisleadQA：诊断 LLM 在误导性上下文下的失效表现
MisleadQA: Diagnosing LLM Failures under Misleading Context
AI 导读
研究团队发布诊断数据集 MisleadQA，用于评估 LLM 在真实但偏离主题（out-of-scope）上下文下的表现。 测试六个开源 LLM 发现，仅提供偏离主题上下文 S 时错误率升至 29.3%，提供错误但在主题内上下文 F 时错误率高达 75.4%；即使加入正确上下文 G，F 仍导致 21.0% 的错误。 研究建议评测需检查上下文是否适用，并共同报告正确率、受误导率及弃权率。
来源：arXiv · NLP · arxiv.org