arXiv · ML· Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng Xi, Jianfei Chen, Jun Zhu·· 9 小时前AI 评分32
SpargeAttention2：通过混合 Top-k+Top-p 掩码与蒸馏微调实现可训练稀疏注意力
SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning
AI 导读
SpargeAttention2 提出可训练稀疏注意力方法，结合混合 Top-k+Top-p 掩码与蒸馏目标，在视频扩散模型中实现 95% 注意力稀疏率和 16.2 倍加速，同时保持生成质量。 该方法优于现有无训练稀疏注意力方案，其混合掩码机制在高空稀疏率下更鲁棒，并解决了扩散损失微调中的局限性。
来源：arXiv · ML · arxiv.org