跳到正文
arXiv · ML· Inbasekaran S·· 2026-10-05AI 评分27

Page-EntroKV: 分组查询注意力下硬件对齐的熵加权 KV-Cache 驱逐

Page-EntroKV: Hardware-Aligned, Entropy-Weighted KV-Cache Eviction under Grouped-Query Attention

AI 导读

Page-EntroKV 提出了一种在分组查询注意力(GQA)物理粒度下运行的大语言模型 KV-Cache 驱逐框架。该方法通过隔离熵加权消除汇聚头干扰,在 Qwen2.5-1.5B-Instruct 模型上将并集开销比(UOR)稳定在 1.000,并在 20% 预算下实现 100% 的关键信息召回。

来源:arXiv · ML · arxiv.org