跳到正文
AWS Machine Learning Blog· Apoorva Chandra·· 14 小时前精选AI 评分65

Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

AI 导读

Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。

推荐理由

Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。

来源:AWS Machine Learning Blog · aws.amazon.com