arXiv · ML· Jintao Zhang, Haoxu Wang, Kai Jiang, Kaiwen Zheng, Youhe Jiang, Ion Stoica, Jianfei Chen, Jun Zhu, Joseph E. Gonzalez·· 9 小时前AI 评分21
SLA2：基于可学习路由与量化感知训练的稀疏线性注意力
SLA2: Sparse-Linear Attention with Learnable Routing and Quantization-aware Training
AI 导读
SLA2 提出可学习路由与量化感知微调，解决原 SLA 启发式划分及误差分解不匹配问题。 该模型通过动态选择稀疏或线性注意力分支，并采用直接分解公式及低比特注意力设计，在视频扩散模型中实现 97% 注意力稀疏度与 18.6 倍推理加速，同时保持生成质量。
来源：arXiv · ML · arxiv.org