arXiv · AI· Giuseppe Bruno, Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet·· 5 小时前AI 评分25
固定查询软最大化自注意力长上下文扩展极限研究
Scaling Limits of Long-Context Transformers
AI 导读
该研究分析了固定查询和随机长上下文软最大化自注意力的扩展极限。 核心发现显示选择性出现的临界尺度与关键分布局部指数相关，满足 $\beta_n^\ast \asymp n^{2/(d-1)}$ 关系。 在亚临界区域，近似恒等值矩阵下的注意力图近似实现了反向热方程。
来源：arXiv · AI · arxiv.org