arXiv · AI· Vaidehi Hegde·2026-10-23 12:00· 6 小时前AI 评分25

LLaMA-2-7B-chat 推理 trace 验证显示修复而非检测是核心瓶颈

Detection Is Not Enough: Reasoning Traces as Testable Program Hypotheses

AI 导读

针对冻结 LLaMA-2-7B-chat 在 GSM8K 的研究发现，推理 trace 检测 AUROC 仅为 0.741，因错误 trace 常正确执行错误计划。变体探针覆盖 71.0% 问题，支持 trace 正确率 60.6% 但误拒正确 trace 达 45.5%；低修复率表明修复而非检测是当前开放难题。

来源：arXiv · AI · arxiv.org

推理能力论文研究 #论文/研究 #推理