arXiv · ML· Hayden Prairie, Jacob M. Ryan, Taylor Berg-Kirkpatrick, Daniel Y. Fu·· 6 小时前AI 评分36
BeNice! 利用 KV 共享关闭循环架构推理 - 内存差距
BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing
AI 导读
summary_zh: 论文提出 BeNice! 方法，通过预训练随机深度和后期训练将最终递归 KV-cache 广播至首次递归，在保持模型质量的同时实现 KV 共享。
来源：arXiv · ML · arxiv.org