arXiv · AI· Hao-Yuan He, Peng-Fei Liu, Chen Chen, Si Shen, Quan He, Runzhou Liu, Xinqi Li, Zhenhua Dong, Ming Li·· 1 天前AI 评分31
LongSpark：采用固定成本并行草稿器的有效推测解码
LongSpark: Efficient speculative decoding with a fixed-cost parallel drafter
AI 导读
在推测解码中引入LongSpark，该框架实现草稿器解码成本与上下文前缀长度完全解耦，使长上下文任务的每输出token时间达到SOTA水平。 LongSpark是块扩散（block-diffusion）草稿器，通过从目标模型验证中提取固定大小的多尺度视图，将草稿器上下文状态降低数个数量级。
来源：arXiv · AI · arxiv.org