arXiv · AI· Lei Tian, Chunzheng Zhu, Kai Wu, Yifan Zhang, Haihua Yang·· 12 小时前AI 评分28
PACE：原生多模态大模型的高效视觉 Token 压缩框架
PACE: Pareto-Adaptive Compression for Efficient Native MLLMs
AI 导读
PACE 提出针对原生 MLLM 的首个视觉 Token 压缩框架，实现 25%-50% 视觉 Token 保留下的近无损性能，并降低 2 倍以上 FLOPs。 该框架基于 Multimodal-RoPE 的维度解耦，将注意力分解为高度与宽度两个正交的空间显著性估计，通过 Pareto 优化联合确定压缩深度与保留率。 论文已被 NeurIPS 2026 接收。
来源：arXiv · AI · arxiv.org