arXiv · ML· Jiayi Li, Guancheng Zhou, Yisi Luo, Ruihua Chen, Penghao Jiang, Deyu Meng, Flora D. Salim, Piotr Koniusz·· 8 小时前AI 评分32
HotPOT: 基于异构物理专家的大规模PDE预训练算子Transformer
HotPOT: Operator Transformer with Heterogeneous Physics Experts for Large-Scale PDE Pre-training
AI 导读
HotPOT通过共享编码器与异构神经数值专家，在大规模PDE预训练中超越了MoE-POT模型。 模型在每个匹配规模对比中均表现更优，平均降低50.7%的rollout误差，17M参数模型甚至优于更大规模的MoE-POT。 该优势扩展至未见物理条件下的零样本预测，相关代码已公开。
来源：arXiv · ML · arxiv.org