AWS Machine Learning Blog· Dustin Liu·· 3 天前精选AI 评分71
Amazon Bedrock 为开放权重模型新增显式提示词缓存
Introducing explicit prompt caching with open-weight models on Amazon Bedrock
AI 导读
Amazon Bedrock 的开放权重模型现支持显式提示词缓存,可通过缓存断点精确标记需复用的提示词前缀。开发者可使用 Chat Completions API 配置隐式或显式模式,并从响应中的缓存读写字段观察使用量;文章还演示了 OpenCode 编码智能体会话中的隐式缓存应用。
推荐理由
文章对比了隐式与显式缓存的控制方式,并提供 Python 和 OpenCode 示例,便于开发者评估缓存命中与成本节省。
来源:AWS Machine Learning Blog · aws.amazon.com