arXiv · NLP· Binglei Li, Mengping Yang, Zhiyu Tan, Wenxu Qian, Junping Zhang, Hao Li·· 2026-10-12AI 评分22
探索扩散模型与自回归模型中图像生成Transformer的注意力沉淀
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
AI 导读
研究发现图像生成Transformer存在注意力沉淀现象,但自回归模型集中于首个及全局token,双向模型则出现在模态边界、文本区域及空间角落。 这种沉淀分布在稀疏的层和头中,且随生成阶段变化;扰动沉淀头比非沉淀头产生更大生成变化,引入register token可部分改善性能。 该发现为图像生成Transformer的机制分析和注意力设计提供了基础。
来源:arXiv · NLP · arxiv.org