arXiv · AI· Zhiqi Li, Bo Zhu·· 11 小时前AI 评分30
dKV Forcing：通过可微分 KV 缓存分离生成与记忆表示
dKV Forcing: Separating Generation and Memory Representations through a Differentiable KV Cache
AI 导读
提出 dKV Forcing 方法，通过可微分缓存训练专用记忆表示，分离视频生成与记忆写入。 该方法以 7% 的生成器更新开销实现单遍精确梯度计算，较两遍重构节省 28% 驻留内存，并缩短 20.8% 训练周期。 VBench-Long 美学质量在 60s 和 240s 下分别提升 6.6 和 8.5 分，并恢复训练时无写梯度下的运动能力。
来源：arXiv · AI · arxiv.org