arXiv · ML· Zongze Wu (Adobe), Xianbang Wang (MIT), Zhengyang Geng (Adobe), Mingdeng Cao (Adobe), Zhoutong Zhang (Adobe), Richard Zhang (Adobe), Eli Shechtman (Adobe), Ruiming Cao (Adobe)·· 1 天前AI 评分33
DMD 中增强 Critic 对分布匹配蒸馏的作用
A Better Critic Matters for Distribution Matching Distillation
AI 导读
研究指出在分布匹配蒸馏中，Critic 的容量与信息量至关重要。实验表明，仅扩大 Teacher 规模而不扩大 Critic 会导致训练崩溃，提出的联合缩放（Joint Scaling）策略解决了此问题。
来源：arXiv · ML · arxiv.org