跳到正文
AWS Machine Learning Blog· Vinay Arora·· 1 天前精选AI 评分64

Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo 部署

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AI 导读

Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,提供多节点部署、预填充与解码分离以及 KV-aware 路由。

推荐理由

文章给出两种部署路径、GLM-5.3 配置示例和多节点基准数据,可用于比较聚合与预填充、解码分离方案。

来源:AWS Machine Learning Blog · aws.amazon.com