TideKV提出层级延迟KV驱逐方法
热点事件持续更新
TideKV提出层级延迟KV驱逐方法
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月，研究者Yu Wang等在arXiv发表TideKV，提出一种基于层感知延迟驱逐的在线GPU缓存构建架构，旨在保留全提示KV以降低长上下文LLM推理的峰值内存占用。 性能测试显示，在A100上进行64K推理时，TideKV使构建期临时内存占用降低83.89%；在RTX 4090上进行128K prefill时，首token延迟仅增加1.06%。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
TideKV: 基于层感知延迟 KV 驱逐实现高效长上下文 LLM 推理报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · MLTideKV: 基于层感知延迟 KV 驱逐实现高效长上下文 LLM 推理
提出名为 TideKV 的在线 GPU 缓存构建架构，通过层感知延迟驱逐保留全提示 KV，同时显著降低峰值内存占用。 在 A100 上 64K 推理时，构建期临时内存占用降低 83.89%；在 RTX 4090 上 128K prefill 时首 token 延迟仅增加 1.06%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。