SageMaker Inference支持GPU分区
热点事件历史事件
SageMaker Inference支持GPU分区
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
Amazon SageMaker Inference 现已支持基于 NVIDIA MIG 的 GPU 分区,可在托管推理端点中将单块物理 GPU 划分为多个硬件隔离分区,为各分区分配独立计算资源和显存。 该功能仅适用于 P4d、P5、G7 和 G7e 实例族;单模型端点、Serverless 端点及异构实例池不支持分区。计费方式不变,用户仍需支付完整 GPU 实例费用。
AI 根据报道生成 · 13 天前更新
最新进展11月7日 02:01
Amazon SageMaker Inference 推出 NVIDIA MIG GPU 分区支持报道时间线
沿着报道,了解事件的不同侧面。
11月7日
- AWS Machine Learning Blog精选Amazon SageMaker Inference 推出 NVIDIA MIG GPU 分区支持
Amazon SageMaker Inference 新增 NVIDIA MIG GPU 分区支持,可在托管推理端点中将单块 GPU 划分为多个硬件隔离分区,每个分区分配独立计算资源和显存。