arXiv论文揭示推理脚手架优于蒸馏模型

2026年10月19日，Jingchu Gai等人发布arXiv论文《Understanding the Benefits of Scaffolds through Computational Separations》，提出从计算分离视角分析推理时脚手架的收益。 研究理论证明，推理时脚手架可计算$ar{N}L$完全闭包，而固定深度前向传播无法表示，除非$\bar{N}L\not\subseteq TC^0$猜想不成立。实验发现，即使使用简单脚手架和小模型，其推理能力也显著优于通过蒸馏学生模型获得的性能。 研究表明，扩大学生模型的表示能力（如增大模型、简化任务或延长思维链）是缩小差距的必要条件，揭示了蒸馏方法在表示限制上的根本性缺陷。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。