AWS Machine Learning Blog· Siddharth Senger·· 7 天前精选AI 评分74
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
Amazon SageMaker HyperPod 团队介绍如何通过梯度检查、环形重放审计和权重指纹比较,检测分布式训练中的静默数据损坏。检测到异常后,可将可疑 rank 映射到节点,隔离并更换故障节点,再从告警窗口之前的检查点恢复训练。方案已在配备 32 张 NVIDIA H100 GPU 的 PyTorch DDP 集群上测试,确定性审计每 100 步的实测开销为 10.1%。
推荐理由
文章给出三项训练循环检查及故障定位、隔离和节点替换流程,并提供实测开销与注入故障结果。
来源:AWS Machine Learning Blog · aws.amazon.com