跳到正文
arXiv · ML· Siqi Zhu, Suozhi Huang, Yi Zhao, Jiaxuan You·· 3 天前AI 评分27

LoopFill:循环Transformer的流水线多Token推测解码

LoopFill: Pipelined Multi-Token Speculative Decoding for Looped Transformers

AI 导读

无训练推测解码算法 LoopFill 在 Ouro-2.6B 和 Huginn-3.5B 模型上分别实现 5.85 倍和 5.13 倍的平均解码加速。 该算法结合多 Token 后缀草案与浅层循环预测,速度提升幅度超过最强基线 LoopAhead 40% 和 25%。

来源:arXiv · ML · arxiv.org