机器之心· 机器之心·· 6 小时前精选AI 评分69
Q Labs 发布 Dust 方法，实现不依赖反向传播的 Transformer 预训练
不用反向传播，也能预训练Transformer，Jeff Dean投的这家公司出成果了
AI 导读
Q Labs 提出的 Dust 方法通过向激活值添加噪声实现零阶优化，宣称在 2.43 亿参数规模下能与反向传播竞争。第三方复现显示 Dust 在同等算力下并不比使用更合适优化器的反向传播有明显优势，其核心意义在于验证了零阶方法用于预训练的可行性。
推荐理由
原文给出了零阶优化方法在预训练中的实证结果和局限，读者可以据此判断反向传播替代方案的可行性边界。
来源：机器之心 · mp.weixin.qq.com