arXiv · AI· Justin Clarke, Isha Karn, Patrick Murray, KJ Hill, David Jensen·· 8 小时前AI 评分25
评估 LLM 因果推理：程序化生成基准 CLadder 的挑战案例研究
Evaluating Causal Reasoning in LLMs: A Case Study in the Challenges of Procedural Generation
AI 导读
CLadder 生成的数据集嵌入表面模式，导致随机森林等简单模型也能取得良好表现。 商用 LLM 在 CLadder 测试中表现极度脆弱，移除关键因果推理文本后性能几乎不受影响，结果主要归因于对训练数据中表面模式的利用。 任何关于 LLM 具备复杂因果推理能力的推断，都必须首先排除这一假设。
来源：arXiv · AI · arxiv.org