arXiv · ML· Ka\u{g}an Akman, Jake Feldman Starosta, Naci Saldi, Serdar Y\"uksel·· 1 天前AI 评分22
最优训练 Transformer 在非马尔可夫数据中实现近无损词元预测的条件分析
When can Optimally Trained Transformers Achieve Near-Lossless Token Prediction for non-Markovian Data?
AI 导读
该研究通过随机最优控制理论，解释了 Transformer 架构为何能成功预测非马尔可夫数据。 作者构建了深度为 M+1 的 Transformer 模型，证明了在平稳遍历或滤波稳定条件下，随着上下文长度增加，预测误差可无限趋近于零。
来源：arXiv · ML · arxiv.org