arXiv · ML· Kareem M. Gameel, Ihor Neporozhnii, Sjoerd Hoogland, Oleksandr Voznyy·· 3 天前AI 评分21
Δ学习:残差规模与可学习性分离指导目标设计
When a better baseline makes delta learning worse: separating residual scale from learnability to guide target design
AI 导读
研究指出残差规模并非Δ学习可学习性的充分启发式标准。 以分子总能量为例,用拟合元素计数的神经网络替代线性基线虽降低残差,却使GemNet预测误差翻倍。 规模归一化图Dirichlet粗糙度可作为预训练诊断指标,支持基线互补性作为目标设计原则。
来源:arXiv · ML · arxiv.org