AWS Machine Learning Blog· Apoorva Chandra·· 14 小时前精选AI 评分65
Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由
How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
AI 导读
Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。
推荐理由
Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。
来源:AWS Machine Learning Blog · aws.amazon.com