跳到正文
arXiv · ML· Aria Masoomi, Mahsa Bazzaz, Adel Javanmard, Vahab Mirrokni·· 10 天前AI 评分28

推理的几何特征:从频谱视角看任务难度

Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness

AI 导读

研究发现 Transformer 模型思维链(CoT)轨迹的有效维度 d_rho 能预测任务难度,在 Qwen2.5 模型上的 AUROC 达到 0.96。 研究在 MATH500 数据集的 86 道题上验证了 Qwen2.5 0.5B 至 7B 三个规模,七类运动学特征在生成 20% token 时即可预测正确性,AUROC 介于 0.77 到 0.88。

来源:arXiv · ML · arxiv.org