arXiv · ML· Joshua Offergeld, Nasir Ahmad·· 3 小时前AI 评分23
相关性为何毁掉梯度下降
Correlations Are Ruining Your Gradient Descent
AI 导读
自然梯度下降因修正曲率而受限于梯度与数据相关性,新方法将其中一项修正从优化器移除并嵌入网络。 该方法以无矩阵求逆的递归动态实现去相关,且仅需突触局部信号,无需矩阵分解。 此技术显著提升生物启发式信用分配效果,并适用于神经形态硬件与分布式物理受限系统。
来源:arXiv · ML · arxiv.org