arXiv · ML· Jaehyuk Lee, Hanyoung Kim, Yanggee Kim, Donghun Lee·· 14 天前AI 评分23
ASAP: 基于注意力沉锚点的剪枝
ASAP: Attention Sink Anchored Pruning
AI 导读
ASAP 是一种免训练的 ViT 框架,将注意力沉点重构为特征以解决高解析度下的计算瓶颈,实现吞吐提升 48% 并保持或超越基线精度。 该框架通过懒随机游走建模信息流,利用扩散距离计算实现径向扩散聚类,并经由转移权重池化单次压缩背景冗余。 该研究已被 NeurIPS 2026 接收,在图像、视频及视觉语言任务中展现出优于最先进方法的性能表现。
来源:arXiv · ML · arxiv.org