跳到正文
arXiv · ML· Justus Huebotter, Serge Thill, Marcel van Gerven, Nasir Ahmad·· 11 天前AI 评分21

基于激活几何推导统计对齐的零阶梯度估计:Spectral Zeroth-Order 方法

An Educated Guess: Deriving Statistically Aligned Gradient Estimates for Zeroth-Order Optimisation

AI 导读

该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。

来源:arXiv · ML · arxiv.org