arXiv · ML· Adrian Robert Minut, Nico Daheim, Marco Miani, Mohammad Emtiyaz Khan, Wu Lin, Thomas M\"ollenhoff·· 10 天前AI 评分28
SOAP-Bubbles:用于神经网络的结构化权重不确定性方法
SOAP-Bubbles: Structured Weight Uncertainty for Neural Networks
AI 导读
研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。
来源:arXiv · ML · arxiv.org