arXiv · AI· Francesco Belardinelli, Flavio Corradini, Matteo Leonesi·· 16 小时前AI 评分24
ClosureBench:基于闭包假设推理的基准测试
ClosureBench: A Benchmark for Reasoning under Closure Assumptions
AI 导读
论文提出 ClosureBench 基准,专门评估 LLM 在缺失信息下的推理能力,测试其是否遵循 OWA、CWA 和 LCWA 等闭包假设规则。 该基准包含 960 个实例,模型整体准确率在 71.18% 至 99.86% 之间,但核心切换准确率仅在 18.23% 至 99.31% 波动,表明现有模型在特定假设下仍存在显著逻辑偏差。
来源:arXiv · AI · arxiv.org