跳到正文
热点事件观察中

ArisGlobal扩展Bedrock提示缓存实践

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

ArisGlobal称,通过将共享提示词前缀置于缓存检查点之前,可在Amazon Bedrock上跨请求、案例和租户复用提示缓存;其生产环境65%的输入token来自缓存,端到端延迟最高降低25%,有效输入成本降低约50%,每月超过190亿token的推理支出节省约40%。 该方案依赖现有推理配置和重复的提示词前缀,效果会随提示结构、流量模式及缓存命中率而变化;对流量间歇的工作负载可在支持模型上评估1小时TTL,使用Claude Sonnet 4.5时,缓存检查点至少需要1,024个token。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AWS Machine Learning Blog精选
    ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

    ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。

本事件热度走势

可比范围当前
3
可比范围峰值
1011月18日 01:00
近 24 小时变化
-49%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。