AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 7 天前AI 评分32
基于 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关
Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
AI 导读
使用 Amazon Bedrock 和 LiteLLM 可构建自助式 LLM 网关,将 Bedrock 抽象为 OpenAI 兼容 API,支持按用户成本控制与模型性能观测。
来源:AWS Machine Learning Blog · aws.amazon.com