AWS Machine Learning Blog· Shubham Gupta·· 2 天前精选AI 评分71
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI 导读
ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。
推荐理由
案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。
来源:AWS Machine Learning Blog · aws.amazon.com