跳到正文
arXiv · NLP· Esther Xin·· 21 天前AI 评分40

链式思维依赖是否遵循缩放定律:更大模型更遵循自身步骤,且独立于后训练

Does Chain-of-Thought Reliance Follow a Scaling Law?Larger Models Follow Their Steps More, Independent of Post-Training

AI 导读

研究发现链式思维(CoT)依赖度随模型规模增加而上升并饱和。在 Qwen3 中,答案对编辑后步骤的依赖度从 0.6B 参数的 16-18% 升至 14B 的 97-100%。 能力是主要驱动因素,依赖度与步骤准确率相关系数 r = 0.99。后训练不改变依赖度,14B 以下模型在缺乏书面步骤时均无法内部解决需四步以上交换的任务。

来源:arXiv · NLP · arxiv.org