跳到正文
arXiv · ML· Junha Park, Jaemyung Yu, Jaehui Hwang, Jong-Seok Lee, Dongyoon Han·· 4 小时前AI 评分25

Residual Gates 如何加速扩散模型训练

No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates

AI 导读

扩散模型训练加速主要源于 AdaLN-Zero 残差门 α 的重组织,而非辅助目标强制的特征结构。 加速模型对 α 扰动高度敏感,其门控几何反映了类别间的语义关系。 引入归一化参与率(nPR)发现,更广泛的门控参与对应更高的生成质量。

来源:arXiv · ML · arxiv.org