跳到正文
热点事件历史事件

SageMaker Inference支持GPU分区

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

Amazon SageMaker Inference 现已支持基于 NVIDIA MIG 的 GPU 分区,可在托管推理端点中将单块物理 GPU 划分为多个硬件隔离分区,为各分区分配独立计算资源和显存。 该功能仅适用于 P4d、P5、G7 和 G7e 实例族;单模型端点、Serverless 端点及异构实例池不支持分区。计费方式不变,用户仍需支付完整 GPU 实例费用。

AI 根据报道生成 · 13 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月7日
  1. AWS Machine Learning Blog精选
    Amazon SageMaker Inference 推出 NVIDIA MIG GPU 分区支持

    Amazon SageMaker Inference 新增 NVIDIA MIG GPU 分区支持,可在托管推理端点中将单块 GPU 划分为多个硬件隔离分区,每个分区分配独立计算资源和显存。