arXiv · ML· Laurin Schmid, Suman Navaratnarajah, Koel Dutta Chowdhury, Steffen Eger, Josif Grabocka, Christian Frey·· 11 天前AI 评分29
FondueQA:用于评估多跳问答中参数补偿的基准测试
FondueQA: A Benchmark for Evaluating Parametric Compensation in Multi-Hop QA
AI 导读
FondueQA 基准通过唯一化证据文档定位,实现了对多跳问答中参数补偿的受控消融测试。 实验显示,模型补偿成功率高依赖实体流行度,桥接证据有时比包含答案的文档更有用。 在存在竞争实体的部分证据场景下,模型可能无法利用已知事实,导致精确匹配率最高降低 15 个百分点。
来源:arXiv · ML · arxiv.org