arXiv · ML· P\'al Andr\'as Papp, Aleksandros Sobczyk, Anastasios Zouzias·· 5 小时前AI 评分31
近似注意力算法趋近 I/O 最优性
Approaching I/O-optimality for Approximate Attention
AI 导读
研究提出受 Alman 和 Song 近期工作启发的近似注意力算法，将大语言模型中注意力计算的 I/O 复杂度从关于上下文长度 $n$ 的二次依赖降至接近线性，并建立了近乎匹配的下界。
来源：arXiv · ML · arxiv.org