跳到正文
AWS Machine Learning Blog· Shantanu Tripathi·· 13 天前精选AI 评分64

Amazon SageMaker Inference 推出 NVIDIA MIG GPU 分区支持

SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI 导读

Amazon SageMaker Inference 新增 NVIDIA MIG GPU 分区支持,可在托管推理端点中将单块 GPU 划分为多个硬件隔离分区,每个分区分配独立计算资源和显存。

推荐理由

文章给出实例族、API 配置和基准结果,读者可评估 GPU 分区对模型部署密度、隔离与推理成本的适配方式。

来源:AWS Machine Learning Blog · aws.amazon.com