AWS Machine Learning Blog· Vinay Arora·· 1 天前精选AI 评分64
Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo 部署
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 导读
Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,提供多节点部署、预填充与解码分离以及 KV-aware 路由。
推荐理由
文章给出两种部署路径、GLM-5.3 配置示例和多节点基准数据,可用于比较聚合与预填充、解码分离方案。
来源:AWS Machine Learning Blog · aws.amazon.com