Zongze Wu等提出联合缩放与STAC优化分布匹配蒸馏

Zongze Wu等人（Adobe/MIT）近期发表研究，针对分布匹配蒸馏（DMD）中 Critic 组件的作用展开分析。研究指出，在 DMD 训练过程中，Critic 的容量与信息量对模型表现具有决定性影响。 实验数据表明，若仅扩大 Teacher 模型规模而保持 Critic 规模不变，会导致训练过程崩溃。为了解决这一瓶颈，研究团队提出了“联合缩放”（Joint Scaling）策略，确保 Teacher 与 Critic 在规模上协同扩展。 该研究同步提出了“步骤感知批评者”（STAC），旨在增强 Critic 在分布匹配蒸馏中的效用。通过引入 STAC 与联合缩放机制，该方法有效避免了训练不稳定问题，优化了 DMD 的整体性能。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。