arXiv · ML· Youngjoong Kim, Duhoe Kim, Woosung Kim, Jaesik Park·· 11 小时前AI 评分35
一致性模型训练稳定化:流映射分析与自蒸馏方法
Stabilizing Consistency Training: A Flow Map Analysis and Self-Distillation
AI 导读
该研究通过流映射视角分析一致性模型,揭示导致退化解的训练与收敛机制,并提出改进的自蒸馏方法 iSD 及其变体 iSD-T。 iSD 重新表述目标函数以避免过大的梯度范数,iSD-T 进一步结合无分类器引导以提升性能与可复现性。 论文证明该方法不仅适用于图像生成,还可扩展至基于扩散的策略学习,且无需依赖预训练扩散模型初始化。
来源:arXiv · ML · arxiv.org