AWS Machine Learning Blog· Shantanu Tripathi·· 13 天前精选AI 评分64
Amazon SageMaker Inference 推出 NVIDIA MIG GPU 分区支持
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 NVIDIA MIG GPU 分区支持,可在托管推理端点中将单块 GPU 划分为多个硬件隔离分区,每个分区分配独立计算资源和显存。
推荐理由
文章给出实例族、API 配置和基准结果,读者可评估 GPU 分区对模型部署密度、隔离与推理成本的适配方式。
来源:AWS Machine Learning Blog · aws.amazon.com