arXiv · AI· Zhikun Tao, Fangyong Jin, Junping Zhao·· 9 天前AI 评分20
KV Cache 能否跨模型更新复用?以 DeepSeek-V4-Flash 为例
Can KV Cache Be Reused Across Model Updates? A DeepSeek-V4-Flash Case Study
AI 导读
KV Cache 跨模型更新复用时,缓存可保留有用任务信息但未必复现更新后模型行为。 在 DeepSeek-V4-Flash 更新中,复用使三个长前缀 QA 基准的 Time-to-First-Token 中位加速达 2.10–5.08×;检索精度随更新波动,短前缀兼容性好而长前缀单 token 检索性能下降。
来源:arXiv · AI · arxiv.org