跳到正文
arXiv · NLP· Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Wajih Hassan Raza, Atta Ul Asad, Young D. Kwon, Michal Valko, Dean F. Hougen·· 2026-10-07AI 评分22

LORE-KV:一种用于 KV Cache 驱逐的蒙特卡洛估计方法

Monte Carlo Estimation for KV Cache Eviction

AI 导读

LORE-KV 提出一种免训练方法,通过采样目标模型自回归延续来评估 KV Cache 中 prompt token 的效用,并在 B=128 预算下显著提升长文本基准测试表现。

来源:arXiv · NLP · arxiv.org