论文揭示Sim-to-Real适应中的灾难性遗忘机制
热点事件持续更新
论文揭示Sim-to-Real适应中的灾难性遗忘机制
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究团队针对连续动力学科学基础模型Walrus-1.3B进行了Sim-to-Real适应研究，发现该过程存在显著的灾难性遗忘现象。具体表现为在模拟数据微调后，模型在原始预训练数据集上的单步误差在20个epoch后增加高达35倍。这表明灾难性遗忘已成为科学基础模型在实际应用中面临的主要障碍，影响了模型对原始知识的保持能力。 为应对这一问题，研究人员提出了一种轻量级的回放策略，即回放1%的模拟数据。实验结果显示，该策略能恢复大部分原始性能，同时保留对实验数据的适应效果。该论文已被NeurIPS 2026的Sim2Science研讨会接收，证实了轻量级回放在维持模型知识平衡方面的有效性。
AI 根据报道生成 · 52 分钟前更新
最新进展11月2日 13:00
Walrus-1.3B 科学基础模型 Sim-to-Real 适应中的灾难性遗忘报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · MLWalrus-1.3B 科学基础模型 Sim-to-Real 适应中的灾难性遗忘
Walrus-1.3B 科学基础模型在 Sim-to-Real 适应过程中遭受灾难性遗忘。在模拟数据微调后，原始预训练数据集上的单步误差在 20 个 epoch 后增加高达 35 倍。 回放 1% 模拟数据可恢复大部分性能并保留对实验数据的适应效果。该研究确立了灾难性遗忘为科学基础模型 Sim-to-Real 适应的实用障碍，轻量级回放策略能显著改善知识保持。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。