跳到正文
arXiv · AI· Jiarui Chen, Zeqiang Lai, Jiangshan Wang, Ziheng Ouyang, Ye Huang, Xiangyu Yue, Cewu Lu, Chunchao Guo·· 2026-10-06AI 评分27

MC-Sparse:弥合扩散 Transformer 中稠密与稀疏注意力的差距

MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers

AI 导读

研究者提出免训练框架 MC-Sparse,通过缓存查询分组、精确注意力概率选出的 KV 索引及稠密-稀疏输出残差并在去噪步骤间复用,在视频和 3D 生成模型上实现比现有稀疏注意力基线更高的保真度与更大加速。

来源:arXiv · AI · arxiv.org