arXiv · NLP· Yuxuan Zhu, David H. Yang, Parisa Shiravani, Mohammad Mohammadi Amiri, Tejaswini Pedapati, Subhajit Chaudhury, Keerthiram Murugesan, Pin-Yu Chen·· 5 小时前AI 评分21
FAD-KV：面向高效推理解码的自适应字典 KV 缓存
FAD-KV: Adaptive Dictionary KV Caching for Efficient Reasoning Decoding
AI 导读
FAD-KV 提出了一种快速自适应字典 KV 缓存框架，旨在通过解决现有方法的解码开销与静态字典失配问题，提升长输出推理效率。 该框架结合基于筛查的稀疏编码（Top-n 选择与系数细化）和固定大小的字典适应机制，通过复用非活跃原子来避免字典无限增长。 在推理和长上下文基准测试中，该方法实现了质量与效率的平衡，确保了内存有界且计算高效。
来源：arXiv · NLP · arxiv.org