AWS Machine Learning Blog· Muru Bhaskaran·· 2 小时前精选AI 评分66
在 Amazon EKS 上配置 NVIDIA Run:ai GPU Fractioning 的实践
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS
AI 导读
该教程演示如何在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning,让多个 Pod 共享一块 NVIDIA GPU。实践以 G5/A10G 环境验证了两个 8 GiB 内存合约在同一块 GPU 上运行并成功分配 6 GiB,同时确认 9 GiB 分配会因超出合约被拒绝,并提供自定义 AL2023 镜像、调度组件和监控指标的配置与清理步骤。
推荐理由
提供了完整环境搭建、共享验证、限额拒绝与清理流程,便于评估 GPU 分片在现有集群中的落地条件。
来源:AWS Machine Learning Blog · aws.amazon.com