跳到正文
arXiv · ML· Yibo Jacky Zhang, Zeyu Tang, Sanmi Koyejo·· 10 天前AI 评分21

反向传播是否最优?合成梯度提升样本效率的理论分析

Is Backpropagation Optimal? When Synthetic Gradients Improve Sample Efficiency

AI 导读

研究提出统一的矢量化反馈框架,证明合成梯度在特定条件下梯度估计均方误差低于反向传播。 作者构建了理论示例说明该样本效率优势可任意放大,并在上下文赌博机与强化学习任务实验中验证了理论结论。 该工作发表于 NeurIPS 2026,从理论上重新审视了基于可微性的默认学习规则。

来源:arXiv · ML · arxiv.org