跳到正文
AWS Machine Learning Blog· Siddharth Senger·· 8 天前AI 评分35

Amazon SageMaker HyperPod 中静默数据损坏的检测与恢复方案

Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

AI 导读

AWS 发布方案在 PyTorch DDP 训练中集成三项检查,定位静默数据损坏(SDC)并自动隔离替换故障节点。 检查涵盖非有限梯度、环重放审计及权重指纹比对;经 4 台 p5.48xlarge 实例(32 张 H100 GPU)验证,代码已在 GitHub 开源。

来源:AWS Machine Learning Blog · aws.amazon.com