Seregina等人提出基于中间层评分的KV缓存驱逐方法
热点事件持续更新
Seregina等人提出基于中间层评分的KV缓存驱逐方法
1 篇报道1 个报道来源7 小时前更新
先了解这件事
报道摘要
研究提出使用中间层（0.4至0.75深度）作为KV缓存驱逐的最佳评分层。 在0.5B至109B的18个模型中，该策略比默认自身层在16个模型上表现更优，紧预算下击败SnapKV 18至43分。
摘自 arXiv · ML
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · MLWho Should Score the Cache? Mid-Depth Layers Are the Best Judges of KV-Cache Eviction
研究提出使用中间层（0.4至0.75深度）作为KV缓存驱逐的最佳评分层。 在0.5B至109B的18个模型中，该策略比默认自身层在16个模型上表现更优，紧预算下击败SnapKV 18至43分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。