跳到正文
热点事件持续更新

SageMaker AI默认监测推理优化风险

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Amazon SageMaker AI 推出生成式 AI 推理端点监测与优化推荐,可通过 AWS Health 提示延迟漂移、闲置 GPU 和缺失优化,并在 SageMaker Studio 中提供可能提升性能或降低成本的建议。 该功能默认面向使用 vLLM 服务容器和 GPU 实例的合格端点启用,无需配置,用户可选择退出;AWS 称监测不读取请求或响应内容,也不产生额外 GPU 费用,但基准测试仍按标准 SageMaker AI 收费或适用的机器学习预留计费。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AWS Machine Learning Blog精选
    Amazon SageMaker AI 上线推理端点漂移监测与优化推荐

    Amazon SageMaker AI 开始监测生成式 AI 推理端点,并通过 AWS Health 通知延迟漂移、闲置 GPU 和缺失优化。对使用 vLLM 服务容器和 GPU 实例的合格端点,该功能默认启用且无需配置,也不读取请求或响应内容。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。