arXiv · ML· Yiping Ji, James Martens, Simon Lucey·· 2026-10-07AI 评分20
扩散模型为何移除编码器残差连接?
Should We Skip Diffusion?
AI 导读
提出 DDT-RBE 以移除扩散模型编码器中自注意力与 MLP 模块周围的残差连接。 该方法通过融合输入 Patch 嵌入与中间及最终编码器特征来保留低层细节,同时允许各块学习更抽象的表征。 DDT-RBE 在图像分类、语义分割等视觉理解任务及 ImageNet 生成任务(更低 FID)上均优于 DDT。
来源:arXiv · ML · arxiv.org