跳到正文
arXiv · AI· Luxi Lin, Zhihang Lin, Zhanpeng Zeng, Rongrong Ji·· 10 天前AI 评分38

多模态推测解码 MSD 在 LLaVA-1.5 上实现 2.46 倍推理加速

Speculative Decoding Reimagined for Multimodal Large Language Models

AI 导读

MSD 框架通过解耦文本与视觉 token 处理并采用两阶段训练,在不改变输出分布的前提下加速多模态大语言模型推理。该方法将 LLaVA-1.5-7B 的推理速度提升 2.29 倍,LLaVA-1.5-13B 提升 2.46 倍。

来源:arXiv · AI · arxiv.org