研究发布MisleadQA诊断LLM误导性上下文失效
热点事件持续更新
研究发布MisleadQA诊断LLM误导性上下文失效
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究团队Hui Wang等发布MisleadQA数据集，旨在诊断LLM在真实但偏离主题上下文下的失效表现。 测试显示，仅提供偏离主题上下文S时模型错误率为29.3%；提供错误但在主题内上下文F时错误率高达75.4%。 研究发现即使加入正确上下文G，错误上下文F仍导致21.0%错误，建议评测需共同报告正确率、受误导率及弃权率。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
MisleadQA：诊断 LLM 在误导性上下文下的失效表现报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · NLPMisleadQA：诊断 LLM 在误导性上下文下的失效表现
研究团队发布诊断数据集 MisleadQA，用于评估 LLM 在真实但偏离主题（out-of-scope）上下文下的表现。 测试六个开源 LLM 发现，仅提供偏离主题上下文 S 时错误率升至 29.3%，提供错误但在主题内上下文 F 时错误率高达 75.4%；即使加入正确上下文 G，F 仍导致 21.0% 的错误。 研究建议评测需检查上下文是否适用，并共同报告正确率、受误导率及弃权率。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月20日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。