arXiv · ML· Lucia Licakova, Niklas Schmidinger, Lukas Hauzenberger, Sebastian B\"ock, Sepp Hochreiter·· 3 天前AI 评分28
深度循环语言模型的架构设计与 KV 重放机制
Architectures and KV Replay for Depth-Recurrent Language Models
AI 导读
针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。
来源:arXiv · ML · arxiv.org