跳到正文
arXiv · ML· Shi Chen, Zhengjiang Lin, Kaizhao Liu, Philippe Rigollet·· 17 天前AI 评分20

Transformer 上下文流映射中的混沌传播理论

Propagation of Chaos in Contextual Flow Maps

AI 导读

研究人员建立了 Transformer 在大上下文领域的定量统计理论,提出上下文流映射(CFMs)框架。 该理论证明有限上下文模型近似理想无限上下文系统,偏差界达到 Wasserstein 速率 n^{-1/d} 及参数速率 n^{-1/2}。 分析依赖新的欧拉日共轭损失梯度公式,为前向-共轭系统提供稳定性估计。

来源:arXiv · ML · arxiv.org