跳到正文
arXiv · ML· Moein Salimi, Amir Qeysarbeigi, Babak Hosseini Mohtasham, Faraz Doagoye Tehrani, Mahdi Naieni, Hanieh Sartipi, Ali Nouri, Amin Aghakasiri, Reyhane Khayatzade Mahani, Mahdi Jafari Siavoshani, Mohammad Hossein Rohban·· 10 天前AI 评分31

AbductionBench: 评测大语言模型溯因推理能力的统一基准

AbductionBench: Benchmarking Abductive Reasoning in Large Language Models

AI 导读

AbductionBench 提出统一框架,在 27 个数据集和 10 个领域上评测 8 个大语言模型。 该基准将最终答案评估与可观察推理痕迹分析分离,涵盖证据使用、假设比较及不确定性处理。 Jev 模型在短证据解释选择上表现良好,但在长案例及假设修正方面显著落后,凸显了多视角评估的价值。

来源:arXiv · ML · arxiv.org