arXiv · ML· Yu Wang, Zhu Wang, Ning Hu, Yifan Guo, Xiu Ma, Bin Guo, Zhiwen Yu·· 6 小时前AI 评分24
TideKV: 基于层感知延迟 KV 驱逐实现高效长上下文 LLM 推理
TideKV: Delayed KV Eviction via Layer-Wise Chunked Prefill for Memory-Efficient Long-Context LLM Inference
AI 导读
提出名为 TideKV 的在线 GPU 缓存构建架构，通过层感知延迟驱逐保留全提示 KV，同时显著降低峰值内存占用。 在 A100 上 64K 推理时，构建期临时内存占用降低 83.89%；在 RTX 4090 上 128K prefill 时首 token 延迟仅增加 1.06%。
来源：arXiv · ML · arxiv.org