跳到正文
arXiv · ML· Ruoran Bai, Haiping Huang·· 17 天前AI 评分21

可解动力学模型揭示上下文学习机制

Solvable dynamical model of in-context learning

AI 导读

研究基于单层单头线性注意力模型,精确求解了参数动力学,阐明记忆与泛化如何从学习中涌现。 该工作将动力学与训练及泛化误差关联,并计算数据依赖的自由能量以预测长时极限下的误差。 此成果为从学习动力学视角理解上下文学习机制提供了新见解。

来源:arXiv · ML · arxiv.org