跳到正文
arXiv · ML· Joon Hyeok Kim, Yong-Hyun Park, Mattis Dals{\ae}tra {\O}stby, Jiatao Gu·· 16 小时前AI 评分21

扩散模型在模算术任务中的算法泛化机制研究

A Mechanistic Study of Algorithmic Generalization in Diffusion Models on Modular Arithmetic

AI 导读

研究通过模加法任务揭示扩散模型算法泛化机制,在单图像模式下模型通过周期性表示实现运算。 在高类内变异的多图像模式下,迭代采样将任务划分为算术计算和视觉细化两个阶段,并通过内部频率熵信号捕捉其转换过程。 该分析在受控环境中阐明了扩散模型算法泛化的内部动力学,但机制向模算术以外任务的推广性仍待探索。

来源:arXiv · ML · arxiv.org