跳到正文
arXiv · ML· Ujin Jeon, Michael Penwarden, Wenqian Chen, Guang Lin·· 17 天前AI 评分21

AA-MP:面向几何感知神经算子的架构感知混合精度副本交换训练策略

Architecture-Aware Mixed Precision for Replica-Exchange Training of Geometry-Aware Neural Operators with Uncertainty Quantification

AI 导读

AA-MP提出一种副本交换混合精度训练策略,通过根据副本角色分配FP32与BF16精度,在保证几何感知神经算子预测精度的同时提升训练效率。在流体动力学和3D结构力学基准测试中,该策略使热副本峰值GPU显存降低46.9%,训练时间最多减少25.8%。消融实验证实保留冷副本FP32对精度至关重要,且该方法在不确定性量化方面优于朴素AMP,实现近标称覆盖率且预测区间更窄。

来源:arXiv · ML · arxiv.org