跳到正文
arXiv · AI· Annan Zhang, Shengjie Song, Wenshuai Yao, Lihao Zhang, Tianmiao·· 17 天前AI 评分33

State-Aware Activation Recomputation 使用 Replay Contracts 和 Selective Preservation 优化显存

State-Aware Activation Recomputation with Replay Contracts and Selective Preservation

AI 导读

该论文提出版本化 replay contract 和联合规划器,在 H100 稀疏写入场景下,相比基线将配对步时降低 18.16%(44 GiB 预算)。 规划器根据实测显存和恢复成本,在激活保留、全量快照和选择性保留间做决策,并用独立验证确保一致性。 在 CIFAR-100 稠密队列任务中,该方法比全量快照多占 22.41% 显存,但各 seed 测试结果字节级一致。

来源:arXiv · AI · arxiv.org