arXiv · AI· Hengjie Zhu, Dayan Wu, Xinze Liu, Peng Fu, Zheng Lin, Weiping Wang·· 8 小时前AI 评分27
RECAP：用于多模态投机解码的上下文感知预测回收与请求本地及持久记忆
RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
AI 导读
论文提出 RECAP 方法，通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权，为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上，RECAP 相对自回归解码平均加速 1.66×/1.56×，超过最强无训练基线 Token Recycling 的 1.51×/1.37×；代码已开源。
来源：arXiv · AI · arxiv.org