arXiv · NLP· Zizhuo Fu, Haochen Huang, Shengxuan Qiu, Linye Wei, Ziyu Tang, Runsheng Wang, Meng Li·· 13 小时前AI 评分33
LoopCache: 加速循环Transformer长上下文自推测解码
LoopCache: Accelerating Long-Context Self-Speculative Decoding for Looped Transformers
AI 导读
LoopCache 提出了一种针对循环 Transformer 长上下文的自推测解码框架。 它采用置信度引导的动态草稿更新和循环 KV 缓存策略,将每步 KV 流量限制在单一循环内。 实验显示 LoopCache 相比 WFD 和 LoopSpec 分别实现了 10.25 倍和 14.56 倍的加速。
来源:arXiv · NLP · arxiv.org