跳到正文
arXiv · NLP· Jeff Shen, Zhejian Zhou, Ryan Lee, Jonathan May, Shirley Ho·· 3 小时前AI 评分29

FlashMap:基于流图模型的推测解码加速方法

FlashMap: Flow Map Speculative Decoding

AI 导读

提出连续流起草器 FlashMap,在 Qwen3-8B 上实现最高 6.1 倍无损加速,平均加速比比 DFlash 高 7%。 该方法将流图语言模型条件化于目标模型隐藏状态,单次前向传播生成整个 token 块并捕获块内依赖。 代码已开源,为 LLM 推理加速提供新路径。

来源:arXiv · NLP · arxiv.org