arXiv · AI· Guangzong Si, Dong Wang, Yifan Yu, Miao Liu, Panwang Pan, Wentao Zhu·· 12 小时前AI 评分25
ReTrace：面向多模态大语言模型的高效视觉回溯压缩框架
ReTrace: Visual Backtracking for Efficient Multimodal Large Language Models
AI 导读
ReTrace 提出了一种感知回溯的视觉 token 压缩框架，在 Qwen2.5-VL 和 InternVL3 上实现了近 90% 的 FLOPs 和 KV cache 削减，以及 2.83× 的预填充加速。 该框架基于“视觉回溯”现象，通过引入休眠 token 状态，在回溯窗口内恢复早期低显著性 token 以保留推理信息。 该工作已被 Findings of EMNLP 2026 接收。
来源：arXiv · AI · arxiv.org