AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前精选AI 评分65
Amazon SageMaker AI 实时端点新增 KV cache 感知路由
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI 导读
Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。
推荐理由
文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。
来源:AWS Machine Learning Blog · aws.amazon.com