arXiv · ML· Bin Hu, Yingbo Xiao·· 4 小时前AI 评分35
RCR 提出速率控制 KV 重选优化长程多模态生成效率
Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation
AI 导读
针对多模态 LLM 长文本生成中 KV cache 一次性预取失效的问题，提出速率控制刷新（RCR）方法。该方法利用漂移决定重选时机，通过每样本控制器调节频率，结合低秩检测器。 RCR 在 6 个模型任务中的 5 个设置下超越 InfiniGen 1.6-3.8 ROUGE-L 分，且 GPU 常驻检测器体积缩小 4 倍，性能接近精确逐步重选。
来源：arXiv · ML · arxiv.org