跳到正文
arXiv · AI· Zhikun Tao, Fangyong Jin, Junping Zhao·· 9 天前AI 评分20

KV Cache 能否跨模型更新复用?以 DeepSeek-V4-Flash 为例

Can KV Cache Be Reused Across Model Updates? A DeepSeek-V4-Flash Case Study

AI 导读

KV Cache 跨模型更新复用时,缓存可保留有用任务信息但未必复现更新后模型行为。 在 DeepSeek-V4-Flash 更新中,复用使三个长前缀 QA 基准的 Time-to-First-Token 中位加速达 2.10–5.08×;检索精度随更新波动,短前缀兼容性好而长前缀单 token 检索性能下降。

来源:arXiv · AI · arxiv.org