arXiv · ML· Matthew Smart, Soumya Ganguly, Nilava Metya, Alexandre V. Morozov, Anirvan M. Sengupta·· 10 天前AI 评分30
Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics
Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics
AI 导读
研究揭示最小注意力Transformer在全token损坏下可解释为两阶段经验贝叶斯过程,单次注意力步骤计算基于上下文经验分布的核加权后验均值。 深度通过粒子动力学细化分布,长程跳连将噪声输入作为查询用于后验推理,区分了深度与注意力残差的统计角色;无需显式噪声调度,固定核带宽与有限积分视界即可实现有效去噪。
来源:arXiv · ML · arxiv.org