arXiv · AI· Luxi Lin, Zhihang Lin, Zhanpeng Zeng, Rongrong Ji·· 10 天前AI 评分38
多模态推测解码 MSD 在 LLaVA-1.5 上实现 2.46 倍推理加速
Speculative Decoding Reimagined for Multimodal Large Language Models
AI 导读
MSD 框架通过解耦文本与视觉 token 处理并采用两阶段训练,在不改变输出分布的前提下加速多模态大语言模型推理。该方法将 LLaVA-1.5-7B 的推理速度提升 2.29 倍,LLaVA-1.5-13B 提升 2.46 倍。
来源:arXiv · AI · arxiv.org