AWS Machine Learning Blog· Dustin Liu·· 3 天前AI 评分46
Amazon Bedrock 开源权重模型支持显式提示缓存
Introducing explicit prompt caching with open-weight models on Amazon Bedrock
AI 导读
Amazon Bedrock 开源权重模型新增显式提示缓存,通过 Chat Completions API 标记可复用前缀,降低输入成本与延迟。 支持隐式与显式两种模式,显式模式使用 prompt_cache_breakpoint 标记缓存层级,仅共享前缀计入高价缓存写入费,避免非复用内容额外支出。 缓存由 Amazon Bedrock 自动管理,用户数据不用于模型训练。
来源:AWS Machine Learning Blog · aws.amazon.com