跳到正文
AWS Machine Learning Blog· Siddharth Senger·· 7 天前精选AI 评分74

在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

AI 导读

Amazon SageMaker HyperPod 团队介绍如何通过梯度检查、环形重放审计和权重指纹比较,检测分布式训练中的静默数据损坏。检测到异常后,可将可疑 rank 映射到节点,隔离并更换故障节点,再从告警窗口之前的检查点恢复训练。方案已在配备 32 张 NVIDIA H100 GPU 的 PyTorch DDP 集群上测试,确定性审计每 100 步的实测开销为 10.1%。

推荐理由

文章给出三项训练循环检查及故障定位、隔离和节点替换流程,并提供实测开销与注入故障结果。

来源:AWS Machine Learning Blog · aws.amazon.com