ArisGlobal扩展Bedrock提示缓存实践
热点事件观察中
ArisGlobal扩展Bedrock提示缓存实践
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
ArisGlobal称,通过将共享提示词前缀置于缓存检查点之前,可在Amazon Bedrock上跨请求、案例和租户复用提示缓存;其生产环境65%的输入token来自缓存,端到端延迟最高降低25%,有效输入成本降低约50%,每月超过190亿token的推理支出节省约40%。 该方案依赖现有推理配置和重复的提示词前缀,效果会随提示结构、流量模式及缓存命中率而变化;对流量间歇的工作负载可在支持模型上评估1小时TTL,使用Claude Sonnet 4.5时,缓存检查点至少需要1,024个token。
AI 根据报道生成 · 2 天前更新
最新进展11月17日 23:57
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AWS Machine Learning Blog精选ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1011月18日 01:00
- 近 24 小时变化
- -49%
02.557.510
12:0011月19日12:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。