arXiv · ML· Zhen Huang, Shuwei Li, Ruizhe Yao, Xinrui Chen, Danyi Liu, Haoyuan Liang, Zhiyu Ye, Qiuyan Sun, Bingwei Chen, Yiyuan Li, Xu Zhou, Haohuan Fu·· 12 小时前AI 评分31
PQRS 加速视频扩散 Transformer 推理:基于逐查询路由的稀疏注意力
Every Query Routes Itself: Accelerating Video Diffusion Transformers with Per-Query Routed Sparse Attention
AI 导读
作者提出免训练方法 PQRS(Per-Query Routed Sparse Attention),在视频扩散 Transformer 中仅对 Key 聚类,让每个 Query 独立选择 Key 簇。
来源:arXiv · ML · arxiv.org