arXiv · AI· Madhu Sudhan Rao Beesetty·· 9 天前AI 评分29
研究表明 LLM 推理失败分类存在测量局限
Agreeing on the Answer but Not the Reason: Measurement Limits of LLM Reasoning Failure Taxonomies
AI 导读
研究指出 LLM 推理失败分类的测量结果高度依赖分类顺序。在 2,316 条记录中,50.1% 的失败含多重类别证据,分类顺序反转导致 12 个模型中 11 个的多数类别改变。
来源:arXiv · AI · arxiv.org