跳到正文
arXiv · AI· Lhea Beumer, Sander de Haan, Niclas Pokel, Pau Vilimelis Aceituno, Benjamin F. Grewe·· 7 天前AI 评分36

Natural PC:通过侧向电路在预测编码中实现自然梯度学习

Natural Gradient Learning in Predictive Coding through Lateral Circuits

AI 导读

Natural PC通过引入侧向电路实现局部自然梯度学习,隐式计算Fisher信息矩阵的逆。 在ImageNet图像重建任务中,其计算成本比使用AdamW的BP低一个数量级,且训练样本少两个数量级,性能持平。

来源:arXiv · AI · arxiv.org