arXiv · ML· Ekaterina Seregina·· 7 小时前AI 评分24
Who Should Score the Cache? Mid-Depth Layers Are the Best Judges of KV-Cache Eviction
Who Should Score the Cache? Mid-Depth Layers Are the Best Judges of KV-Cache Eviction
AI 导读
研究提出使用中间层（0.4至0.75深度）作为KV缓存驱逐的最佳评分层。 在0.5B至109B的18个模型中，该策略比默认自身层在16个模型上表现更优，紧预算下击败SnapKV 18至43分。
来源：arXiv · ML · arxiv.org