跳到正文
arXiv · ML· Tuna Han Salih Meral, Kaan Oktay, Alec Helbling, Atakan Kara, Duen Horng Chau, Pinar Yanardag·· 16 小时前AI 评分44

扩散 Transformer 的 RL 后训练本质是激活引导

RL Post-Training in Diffusion Transformers Is Activation Steering

AI 导读

研究发现扩散 Transformer 的 RL 后训练增益可由固定引导向量解释。 这些向量比 LoRA 少 65 倍参数,在 SD3.5-M 上恢复 90.0-96.3% 的奖励增益,且优于权重级 RL。 这表明常数偏移足以实现多数 RL 效果,无需复杂的输入依赖变换。

来源:arXiv · ML · arxiv.org