跳到正文
AWS Machine Learning Blog· Dustin Liu·· 3 天前AI 评分46

Amazon Bedrock 开源权重模型支持显式提示缓存

Introducing explicit prompt caching with open-weight models on Amazon Bedrock

AI 导读

Amazon Bedrock 开源权重模型新增显式提示缓存,通过 Chat Completions API 标记可复用前缀,降低输入成本与延迟。 支持隐式与显式两种模式,显式模式使用 prompt_cache_breakpoint 标记缓存层级,仅共享前缀计入高价缓存写入费,避免非复用内容额外支出。 缓存由 Amazon Bedrock 自动管理,用户数据不用于模型训练。

来源:AWS Machine Learning Blog · aws.amazon.com