arXiv · AI· Geng Li, Guohao Chen, Shilin Shan, Jianfei Yang·· 14 小时前AI 评分31
PAA-Bench 提出 VLM 视觉 token 剪枝评测新标准
Are We Evaluating VLM Token Pruning Right? Looking Beyond Accuracy and Token Count
AI 导读
现有 VLM 剪枝评测依赖聚合准确率与保留 token 数，无法准确反映剪枝质量与实际效率。 论文提出 PAA-Bench 框架，引入 Random-Pass@k 与 PCS 指标，在 8 种方法、3 个 VLM 骨干及 9 个基准上验证，表明更强压缩不一定带来更高加速。 该工作揭示了当前评测局限性，为公平比较剪枝方法提供了新的 Pareto 前沿评估工具。
来源：arXiv · AI · arxiv.org