跳到正文
arXiv · ML· Arash Jamshidi, Katsiaryna Haitsiukevich, Aristides Gionis, Kai Puolam\"aki·· 23 小时前AI 评分40

校准目标噪声从梯度恢复曲率

Calibrated Target Noise Recovers Curvature from the Gradients

AI 导读

提出通过向目标注入零均值噪声且方差校准至局部输出曲率,仅从聚合小批量梯度恢复曲率信息。 该方法无需逐样本梯度或二阶导数,可恢复广义高斯-牛顿矩阵及前馈 ReLU 网络的 Hessian 对角块。 实验显示用于预条件加速优化及早期停止,论文已被 NeurIPS 2026 接收。

来源:arXiv · ML · arxiv.org