arXiv · ML· Dongwoo Kim·· 4 天前AI 评分29
扩散模型中预测目标与损失空间选择对生成质量的影响分析
Analyzing Learning-Dynamics Across Loss and Prediction Choices for Diffusion Models
AI 导读
研究剖析了扩散模型中9种预测与损失组合,发现改变损失空间等价于时间步重加权,且低秩瓶颈使噪声预测存在D-m误差下限。 理论证明低秩线性瓶颈压缩下,噪声与速度预测受不可消除误差限制,而干净数据预测可利用低维结构。 实验在U-Net和JiT架构、CIFAR-10及ImageNet-256数据集验证,压缩条件下预测选择显著影响去噪精度与样本质量。
来源:arXiv · ML · arxiv.org