跳到正文
arXiv · ML· Kaito Takanami, Cengiz Pehlevan·· 17 天前AI 评分31

CoT 监督如何教导模型推理?理论分析

How Does Chain-of-Thought Supervision Teach Models to Reason? A Theoretical Analysis

AI 导读

利用高维渐近分析,CoT 监督在长时程推理中存在依赖上下文长度的相变。 研究区分了错误积累与错误放大两种机制,显示增加训练 CoT 预算可能先加剧长时程错误后趋于稳定。 结果提供了理论解释,为设计支持稳定推理的教师 CoT 提供了指导。

来源:arXiv · ML · arxiv.org