arXiv · ML· Haaris Mian, Miles Cranmer, Alessandro Favero, Payel Mukhopadhyay·· 2 小时前AI 评分23
Walrus-1.3B 科学基础模型 Sim-to-Real 适应中的灾难性遗忘
Frozen in Time: How a Physics Foundation Model Forgets Under Sim-to-Real Adaptation
AI 导读
Walrus-1.3B 科学基础模型在 Sim-to-Real 适应过程中遭受灾难性遗忘。在模拟数据微调后，原始预训练数据集上的单步误差在 20 个 epoch 后增加高达 35 倍。 回放 1% 模拟数据可恢复大部分性能并保留对实验数据的适应效果。该研究确立了灾难性遗忘为科学基础模型 Sim-to-Real 适应的实用障碍，轻量级回放策略能显著改善知识保持。
来源：arXiv · ML · arxiv.org