arXiv · ML· Kaito Takanami, Cengiz Pehlevan·· 6 小时前AI 评分30
Chain-of-Thought 上下文学习渐近理论
An Asymptotic Theory of Chain-of-Thought in In-Context Learning
AI 导读
研究提出线性回归上下文权重预测的 Chain-of-Thought 渐近理论，推导了泛化误差与推理深度、预训练数据量及上下文长度的精确公式。分析揭示了区分指数与多项式改进、饱和及过度思考的尖锐相变，并确定最佳推理深度的标度规律。实验在完全学习的线性注意力和 Softmax 注意力模型中验证了理论预测。
来源：arXiv · ML · arxiv.org