提出自适应字典KV缓存框架FAD-KV

FAD-KV 提出了一种快速自适应字典 KV 缓存框架，旨在通过解决现有方法的解码开销与静态字典失配问题，提升长输出推理效率。 该框架结合基于筛查的稀疏编码（Top-n 选择与系数细化）和固定大小的字典适应机制，通过复用非活跃原子来避免字典无限增长。 在推理和长上下文基准测试中，该方法实现了质量与效率的平衡，确保了内存有界且计算高效。

摘自 arXiv · NLP

还没有足够的连续观测数据，暂不绘制趋势。