跳到正文
arXiv · ML· Thomas X. Sheppard, Alon Albalak, Joel Lehman, Kenneth O. Stanley·· 10 天前AI 评分41

UFOs:引入统一因子化整理器以优化神经网络表示学习

Are UFOs Real? Introducing Unified Factored Organizers

AI 导读

该论文提出统一因子化整理器(UFOs),通过训练网络模型化其他网络的表示规律,来改进深度学习的表示质量。 在模态算术问题上,结合权重衰减时 UFOs 可将 Transformer 训练步数减少 10 倍以上;无权重衰减时比无正则化基线减少 100 倍以上。 如果 UFOs 有效,将开创一种新范式,即损失函数本身可被训练以学习良好的表示模型。

来源:arXiv · ML · arxiv.org