跳到正文
arXiv · AI· Madhu Sudhan Rao Beesetty·· 9 天前AI 评分29

研究表明 LLM 推理失败分类存在测量局限

Agreeing on the Answer but Not the Reason: Measurement Limits of LLM Reasoning Failure Taxonomies

AI 导读

研究指出 LLM 推理失败分类的测量结果高度依赖分类顺序。在 2,316 条记录中,50.1% 的失败含多重类别证据,分类顺序反转导致 12 个模型中 11 个的多数类别改变。

来源:arXiv · AI · arxiv.org