跳到正文
AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 7 天前AI 评分59

使用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关

Building a self-service LLM gateway with Amazon Bedrock and LiteLLM

AI 导读

AWS 展示了如何使用 Amazon Bedrock Application Inference Profiles 与 AWS Fargate 上的 LiteLLM 构建自助式 LLM 网关。

来源:AWS Machine Learning Blog · aws.amazon.com