arXiv · NLP· Jeff Shen, Zhejian Zhou, Ryan Lee, Jonathan May, Shirley Ho·· 3 小时前AI 评分29
FlashMap:基于流图模型的推测解码加速方法
FlashMap: Flow Map Speculative Decoding
AI 导读
提出连续流起草器 FlashMap,在 Qwen3-8B 上实现最高 6.1 倍无损加速,平均加速比比 DFlash 高 7%。 该方法将流图语言模型条件化于目标模型隐藏状态,单次前向传播生成整个 token 块并捕获块内依赖。 代码已开源,为 LLM 推理加速提供新路径。
来源:arXiv · NLP · arxiv.org