arXiv · NLP· Yuhao Liu, Yuehao Li, Linghe Zhang, Gaobin Huang, Junran Li, Hongchang Wang, Haifang Jian·· 11 小时前AI 评分26
EarlySelectKV 提出跨层查询代理实现预测性 KV 稀疏选择
EarlySelectKV: Anticipatory KV Selection via Cross-Layer Query Proxies
AI 导读
EarlySelectKV 通过跨层查询代理实现预测性 KV 索引预计算，使路由脱离即时注意力路径。 该免训练方法在 RocketKV 基准中质量差异极小，LongBench 偏差仅 +0.018 分。 TensorRT-LLM 部署下，端到端吞吐量提升 12.4%，GPU 显存占用降低 11.1%。
来源：arXiv · NLP · arxiv.org