SLA2 论文提出可学习路由优化稀疏注意力

2026 年 10 月 20 日，arXiv 平台发布 Jintao Zhang 等人撰写的 SLA2 论文。该研究旨在解决原 SLA 模型中存在的启发式划分局限及误差分解不匹配问题，提出了基于可学习路由与量化感知训练的新方法。 SLA2 核心机制引入动态路由系统，根据每次注意力计算的需求，自适应选择使用稀疏注意力或线性注意力分支。同时，模型采用直接分解公式与低比特注意力设计，并执行量化感知微调，以提升计算效率并降低数值误差。 在视频扩散模型的实际测试中，SLA2 实现了 97% 的注意力稀疏度，并将推理速度提升了 18.6 倍。报道指出，该模型在显著优化计算资源占用的同时，有效保留了图像生成的质量，展现了稀疏注意力技术的新进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。