跳到正文
arXiv · ML· Adrian Robert Minut, Nico Daheim, Marco Miani, Mohammad Emtiyaz Khan, Wu Lin, Thomas M\"ollenhoff·· 10 天前AI 评分28

SOAP-Bubbles:用于神经网络的结构化权重不确定性方法

SOAP-Bubbles: Structured Weight Uncertainty for Neural Networks

AI 导读

研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。

来源:arXiv · ML · arxiv.org