扩散语言模型去噪动态与端点不确定性研究

研究发现，扩散语言模型单次去噪轨迹的内部收敛度与最终输出的端点不确定性显著相关。内部收敛度越高，最终输出分布的熵值越低，二者存在强相关性。 该研究在4个推理基准上采集了32,000条去噪轨迹，相关系数$\beta=-0.222$且$p<10^{-25}$。