arXiv · ML· Arash Jamshidi, Katsiaryna Haitsiukevich, Aristides Gionis, Kai Puolam\"aki·· 23 小时前AI 评分40
校准目标噪声从梯度恢复曲率
Calibrated Target Noise Recovers Curvature from the Gradients
AI 导读
提出通过向目标注入零均值噪声且方差校准至局部输出曲率,仅从聚合小批量梯度恢复曲率信息。 该方法无需逐样本梯度或二阶导数,可恢复广义高斯-牛顿矩阵及前馈 ReLU 网络的 Hessian 对角块。 实验显示用于预条件加速优化及早期停止,论文已被 NeurIPS 2026 接收。
来源:arXiv · ML · arxiv.org