arXiv · ML· Jiaqi Leng, Minshen Zhang, Zhaofeng Sun, Yu-Yang Qian, Peng Zhao, Hao Zhang·· 9 天前AI 评分39
循环更深层而不增加 KV 缓存:因果编码器-解码器的循环深度
Looping Deeper Without Growing the KV Cache: Recurrent Depth for Causal Encoder-Decoders
AI 导读
研究设计了一种循环因果编码器-解码器(Looped CED),通过让稀疏编码器层生成全局 KV 并复用,实现了零轮次 KV 增长的循环深度。 该模型通过跨层和跨轮次的 KV 共享,以未循环模型的最小内存占用,恢复了循环 Transformer 86-93% 的性能提升,全局 KV 减少至 1/6。
来源:arXiv · ML · arxiv.org