跳到正文
热点事件持续更新

AWS 发布分布式 KV 缓存 Agent Skill

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年11月21日,AWS 官方发布基于 Amazon ElastiCache 的分布式 KV 缓存 Agent Skill,旨在优化自托管 LLM 的推理成本与延迟。该技能可集成于 Agent Toolkit,允许用户通过编码智能体在少量提示下完成评估与部署。\n\n性能方面,AWS 称该方案可降低自托管 LLM 推理成本最高 40%,并缩短首 token 时间最高 80%。在兼容性上,该 Skill 支持 Kiro、Claude Code 及 OpenAI Codex 等符合 Agent Skills 标准的编码智能体,底层兼容 vLLM 与 SGLang 推理引擎。\n\n使用条件方面,该流程要求 GPU 实例支持 EFA RDMA 写入(如 p5 实例)。AWS 同时提供 KVTrace 工具,允许用户在部署基础设施前,基于自有模型和流量估算潜在收益,该评估工具本身不收取额外费用。

AI 根据报道生成 · 38 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AWS Machine Learning Blog
    AWS 发布分布式 KV 缓存技能以优化自托管 LLM 成本与延迟

    AWS 推出基于 Amazon ElastiCache 的分布式 KV 缓存技能,可降低自托管 LLM 推理成本最高 40%,缩短首 token 时间最高 80%。该技能支持 Kiro 和 Claude Code 等编码智能体,利用 KVTrace 工具评估收益,并兼容 vLLM 与 SGLang 引擎。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。