跳到正文
arXiv · AI· Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon·· 1 天前AI 评分39

DyMoS:通过重平衡参考帧优势提升图生视频模型的动态表现

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

AI 导读

研究识别出参考帧优势是导致图生视频模型运动抑制的关键机制。非参考帧对参考帧键token分配过多自注意力,导致参考信息过度传播。 该方法提出无需训练且模型无关的DyMoS,在初始去噪步骤中重新平衡注意力路径。它不改变输入图像和模型权重,仅引入单一标量参数控制运动强度。 实验表明,DyMoS在多个SOTA图生视频骨干网上一致提升了运动动态,同时保持视觉质量和参考图像保真度。

来源:arXiv · AI · arxiv.org