arXiv · AI· Suhas Kumar Morisetty, Vaibhavi Lokegaonkar, Sachin Mathew Varghese, Wesley Harris·· 5 小时前AI 评分21
WAKMan:一种工作负载感知的 KVCache 管理器
WAKMan: Workload Aware KVCache Manager
AI 导读
在20种混合流量场景中,没有单一KV缓存驱逐策略始终最优,WAKMan 作为工作负载感知管理器,通过实时流量自动选择策略,平均命中率比 LRU 高5个百分点。该方案无需识别请求类型或读取提示词,具备最低的均值和最差情况优化差距。
来源:arXiv · AI · arxiv.org