arXiv · ML· Tongtong Liang, Siqi Kou, Ziqiao Xi, Esha Singh, Kun Zhou, Zhijie Deng, Alexander Cloninger, Yu-Xiang Wang, Rahul Parhi·· 2026-10-08AI 评分36
残差流负担如何塑造扩散 Transformer 中的表示学习
Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers
AI 导读
扩散生成中不同预测目标导致 Diffusion Transformers 性能差异的机制源于残差流负担。作者提出 SiHC 架构直接扩展残差流带宽,在 ImageNet 256x256 上达到 FID 1.71。该研究识别出预测目标与架构共同塑造表示学习的底层机制。
来源:arXiv · ML · arxiv.org