arXiv新论文解析长上下文Transformer扩展极限

2026年11月3日，Giuseppe Bruno等人在arXiv提交论文，专门研究固定查询与随机长上下文下的软最大化自注意力扩展极限。该论文共41页，包含4张图表，于11月4日更新为v2版本。 研究核心发现表明，选择性出现的临界尺度与关键分布局部指数存在密切关联，具体满足β_n* ≍ n^(2/(d-1))的数学关系。在亚临界区域，近似恒等值矩阵下的注意力图近似实现了反向热方程的演化过程。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。