arXiv · ML· Moritz Wagner, Christophe Roux, Max Zimmer, Sebastian Pokutta·· 7 小时前AI 评分28
KV-Surgeon: 补偿感知的离线 KV-Cache 压缩
The KV-Surgeon: Compensation-Aware Offline KV-Cache Compaction
AI 导读
summary_zh: KV-Surgeon 提出一种补偿感知的离线 KV-Cache 压缩方法，在 4B 至 30B 参数模型上显著推进成本-准确率帕累托前沿。
来源：arXiv · ML · arxiv.org