跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前精选AI 评分68

SageMaker AI 实时端点新增 KV cache 感知路由

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI 导读

Amazon SageMaker AI 实时端点新增 KV cache 感知路由(KV-aware routing),利用模型容器上报的缓存状态将请求路由到已有长缓存匹配的实例。测试显示该策略在多轮对话场景下可降低 97% 的 p50 首 token 延迟,并提升 234% 的吞吐量,需通过环境变量开启缓存事件上报并在端点配置中设置策略为 KV_AWARE。

推荐理由

文章对比了两种路由策略在缓存命中率和延迟上的差异,并给出了在 SageMaker 中配置和验证的具体步骤,有助于评估该功能在自身推理服务中的收益。

来源:AWS Machine Learning Blog · aws.amazon.com