arXiv · ML· Giuseppe Castiglione, Christopher Buckley, Ivor Simpson·· 7 小时前AI 评分33
CGTP 提出：目标传播中的信赖域推导与并行共轭梯度求解
Trust Your Targets: Is Target Propagation Block-Diagonal Gauss-Newton?
AI 导读
论文推导目标传播（TP）在隐式范数下的信赖域形式，提出并行求解子问题的 CGTP 算法，并将 KFAC 确立为其特例。 KGTP 在 MNIST 和 Fashion-MNIST 上匹配 ADAM 与 KFAC 精度，外层迭代次数比 ADAM 少约 10 倍。 该方法在不同深度下保持稳定，为 KFAC 的因子阻尼提供了变分依据。
来源：arXiv · ML · arxiv.org