跳到正文
arXiv · ML· Harshithanjani Athi, Sravan Kumar Ankireddy, Jianzhong Charlie Zhang, Hyeji Kim·· 1 天前AI 评分28

QViD:基于查询-视觉交互分解的无训练视觉 token 剪枝方法

Vision Token Pruning via Query-Vision Interaction Decomposition

AI 导读

QViD 是一种无训练、查询感知的视觉 token 剪枝方法,利用 Transformer 注意力中查询-键投影隐含的查询-视觉交互矩阵的低秩结构,识别主导潜在交互模式以指导 token 选择。 在图像和视频理解基准测试中,QViD 在相同 token 预算下一致提升性能,且在激进压缩场景下收益最大。 该论文已被 NeurIPS 2026 接收。

来源:arXiv · ML · arxiv.org