跳到正文
AWS Machine Learning Blog· Shubham Gupta·· 2 天前精选AI 评分71

ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

How ArisGlobal scaled generative AI inference on Amazon Bedrock

AI 导读

ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。

推荐理由

案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。

来源:AWS Machine Learning Blog · aws.amazon.com