跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前精选AI 评分65

Amazon SageMaker AI 实时端点新增 KV cache 感知路由

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI 导读

Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。

推荐理由

文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。

来源:AWS Machine Learning Blog · aws.amazon.com