arXiv · ML· Yuxuan Cai, Yuan Cao·· 4 小时前AI 评分26
带链式思考的 Transformer 通过训练发现 Heavy-Ball 加速算法
Transformers with CoT Discover Heavy-Ball Acceleration Through Training
AI 导读
研究证明，Transformer 在对上下文权重预测任务进行 CoT 推理时，可超越模仿并自主发现 Heavy-Ball 方法。 模型在梯度下降教师初始监督后，通过对真实回归权重进行轨迹级监督，实现了推理加速且无需 Heavy-Ball 教师直接介入。 该结果为 Transformer 通过训练发现新算法而非仅模仿监督算法，提供了具体的理论案例。
来源：arXiv · ML · arxiv.org