arXiv · ML· Harshithanjani Athi, Sravan Kumar Ankireddy, Jianzhong Charlie Zhang, Hyeji Kim·· 1 天前AI 评分28
QViD:基于查询-视觉交互分解的无训练视觉 token 剪枝方法
Vision Token Pruning via Query-Vision Interaction Decomposition
AI 导读
QViD 是一种无训练、查询感知的视觉 token 剪枝方法,利用 Transformer 注意力中查询-键投影隐含的查询-视觉交互矩阵的低秩结构,识别主导潜在交互模式以指导 token 选择。 在图像和视频理解基准测试中,QViD 在相同 token 预算下一致提升性能,且在激进压缩场景下收益最大。 该论文已被 NeurIPS 2026 接收。
来源:arXiv · ML · arxiv.org