跳到正文
arXiv · ML· Ahad Bin Islam Shoeb, Jamal Uddin Tanvin, Kamrul Hasan, Alve Reduan, Imtiaz Ahmed·· 6 小时前AI 评分22

TG-IES:基于二阶损失动态的理论引导实例级早停方法

Theory-Guided Instance-Dependent Early Stopping via Second-Order Loss Dynamics

AI 导读

理论引导的实例级早停方法 TG-IES 利用训练运行统计量校准阈值,在 CIFAR-10 和 CIFAR-100 上节省 53-58% 的反向传播实例,精度损失控制在 0.1-0.9 个百分点。 方法证明二阶差分在特定信噪比下具有优于零阶和三阶的偏差-方差权衡,其信号包含梯度漂移与曲率项,无需手动设置阈值。

来源:arXiv · ML · arxiv.org