跳到正文
arXiv · ML· Melinda Fl\'ora Kiss, M\'arton Muntag, Adri\'an Csisz\'arik, D\'aniel Varga·· 23 小时前AI 评分34

BUMP 现象:置换对齐神经网络线性插值中测试准确率在端点附近短暂提升

BUMP: Brief Unexpected Mid-Interpolation Peak

AI 导读

研究发现,置换对齐神经网络的线性插值存在 BUMP 现象,即测试准确率在靠近端点时短暂提升,随后向中点下降。 该现象在多个数据集、架构及训练方案中保持一致,且在早停检查点及极端剪枝等扰动下依然稳健,排除了常规正则化效应。 基于此提出权重预测混合集成方法,其在测试准确率和校准权衡上持续优于标准 logit 集成。

来源:arXiv · ML · arxiv.org