跳到正文
arXiv · NLP· Zizhuo Fu, Haochen Huang, Shengxuan Qiu, Linye Wei, Ziyu Tang, Runsheng Wang, Meng Li·· 13 小时前AI 评分33

LoopCache: 加速循环Transformer长上下文自推测解码

LoopCache: Accelerating Long-Context Self-Speculative Decoding for Looped Transformers

AI 导读

LoopCache 提出了一种针对循环 Transformer 长上下文的自推测解码框架。 它采用置信度引导的动态草稿更新和循环 KV 缓存策略,将每步 KV 流量限制在单一循环内。 实验显示 LoopCache 相比 WFD 和 LoopSpec 分别实现了 10.25 倍和 14.56 倍的加速。

来源:arXiv · NLP · arxiv.org