Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
Exa 在 AWS Inferentia2 和 Trainium2 硬件上优化嵌入基础设施,吞吐量提升 50%。 通过权重布局优化、自动混合精度及自定义 NKI 内核减少内存溢出和 FLOPS,实现最高 1.5 倍性能增益。 单位经济性的改进支持 Exa 在数十亿文档规模下更高效地索引网络数据。
AWS 官方在 Amazon Aurora PostgreSQL 中展示了一套 RAG 客服机器人设计模式,专注于实现 AI 可解释性。方案利用 pgvector 进行向量检索,通过 Aurora ML 直接在 SQL 层生成向量嵌入,并使用 Amazon Bedrock Guardrails 验证回答的接地能力。
Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。
推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。
OpenAI 阐述了如何管理前沿 AI 从训练到部署的完整风险体系。 该体系涵盖模型对齐、沙盒环境、阻断措施及持续监控。
Stretto 基于 Amazon Nova 2 Sonic 语音智能体 Tara 处理破产咨询,将单次通话成本降低 95%。 该语音模型原生处理低延迟音频,优化中断机制,结合 Anthropic Claude 3 Haiku 实现结构化数据提取。
展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。
Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。
推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。
Pallav Gupta 分享了在 Amazon Bedrock AgentCore 上构建生产级 Agent 时降低处理大型 JSON 负载成本与延迟的三种策略。该方法将 Token 消耗降低 71%,平均延迟减少 80%,适用于处理大量结构化数据的智能体应用。
AWS 提出降低生成式 AI 成本的框架,建议先判断工作流步骤是否需要模型,再用确定性代码处理规则、用受限决策调用处理固定选项、仅在开放式任务中调用 Amazon Bedrock 模型。文章给出了决策流程图和基于 AWS Step Functions、AWS Lambda 与 Bedrock 结构化输出的实现示例,强调通过缩小模型规格和避免不必要的模型调用来控制成本与延迟。
文章展示了在 Amazon Bedrock AgentCore 中测试的三种 Snowflake OAuth 认证配置,旨在解决 AI 智能体调用 Snowflake MCP 服务器的身份验证挑战。
AWS 发布面向 WhatsApp 渠道的开源工具包 SMART,帮助开发者基于 Amazon Bedrock AgentCore 构建生产级 AI 智能体。该工具包提供 Python SDK 与 Terraform 架构,处理消息解析、多模态媒体处理、持久化记忆和模板合规等底层任务,开发者仅需编写智能体核心逻辑与业务规则即可通过单条命令部署。
LoanPro 与 AWS 合作,基于 Amazon Bedrock AgentCore 构建多智能体贷款服务助理,客户通话时间最多减少 15%。 系统运行 Claude Sonnet 5.5、Claude Haiku 5.5 及 Claude Opus 5.5 模型,采用 Strands Agents SDK 并集成 MCP 服务器。
AWS 面向智能体 AI 平台提出三阶段责任 AI 成熟度框架,依次为治理基础、试点部署、评估与加固,帮助平台团队与业务团队在 12 周时间内落地负责任 AI 实践。
summary_zh: ArisGlobal 通过调整 Amazon Bedrock 提示缓存策略,将 6 个月内 150% 的前缀增长转化为成本控制优势,使单次推理成本增加控制在 200% 以内。
该教材基于伦敦玛丽女王大学2023/24及2024/25学年的神经网络课程,共115页。 内容从最大似然与线性回归切入,涵盖反向传播、Transformer 架构及大语言模型的对齐技术。 专为具备物理或数学背景的学生设计,侧重物理直觉而非复杂形式化推导。
开发者通过在 AgenticRetrieveStream 请求中添加 memoryConfiguration,即可将 AgentCore 记忆功能与知识库结合,实现多租户场景下的用户数据隔离。
约88%的AI试点未能进入生产环境,多智能体协调属于分布式系统问题。斯坦福HAI研究表明,当协调开销超过收益时,双模型协作表现可能不如单模型。 该文章将协调模式分为两层:层级1由用户定义确定性路径,层级2由LLM在运行时自主决定路径。十步95%可靠性对应59.9%端到端成功率,每步依赖都会放大风险。 文章还指出节拍时间、安全边界及换班周期等制造业因素会直接影响架构设计。
金融服务平台 Duco 使用 Amazon Bedrock 和 Amazon Bedrock AgentCore 重构智能体技术栈,以应对传统机器学习的局限。系统采用多租户隔离架构和按需加载的 MCP 技能设计,将上下文占用降低 90%,使对账部署速度提升 10 倍,一家全球银行的入驻成本降低了 70%。
推荐理由:Duco 在受监管的多租户环境中落地智能体系统,提供了 MCP 按需加载工具与严格隔离的具体工程架构。
MoEngage 利用 Amazon Bedrock AgentCore 和 MCP 架构推出了 Merlin AI 智能体系统。该系统支持在单次对话中完成活动策划与数据分析,帮助客户提升营销效率。
Amazon Bedrock 与 AWS Transform 结合 Kiro IDE 构建多阶段方法论,将大型机 Assembler 代码转化为 Java Spring Boot 服务,在缩短现代化的同时保持业务逻辑完整性。
Amazon Bedrock 托管知识库新增检索指令,允许为共享知识库的每个租户配置 persona、answerFormat、retrievalGuidance 和 answerPolicy,统一答案语言、日期货币格式和引用风格。
Amazon Bedrock Guardrails 发布编写拒绝主题(Denied Topics)的最佳实践指南。文章指出以“金融”“法律”等主题领域命名会导致误拦截合法查询,建议围绕用户的具体意图和动作进行重构。
推荐理由:原文拆解了四类常见错误并给出改写示例,帮助使用者规避误拦截和漏拦截。
GS Caltex 通过连接 Amazon SageMaker Canvas 与 Amazon SageMaker Pipelines,实现生产级 MLOps 工作流。过程工程师在 Canvas 中无代码构建模型,ML 工程师负责部署。 自动化交接使模型部署时间从约一周缩短至几小时内。每 30 分钟运行批量推理,显著降低了推理成本。
Amazon Bedrock AgentCore runtime V2 采用环境快照机制,将会话启动时的镜像拉取与初始化前置,从而加速恢复过程。 V2 在创建或更新运行时生成快照,新会话通过恢复快照启动,仅按需从镜像加载文件。 该版本支持构建钩子以预热依赖,并通过 CloudWatch 指标区分平台开销与代码执行时间。
NVIDIA 开源库 NeMo Switchyard 通过 LiteLLM 集成支持 Stage 和 Random 路由策略,帮助 AI 智能体在 Amazon Bedrock 模型间按“每任务成本”分流请求。
AssemblyAI 采用 Amazon EC2 Spot 与按需实例混合架构,在保持 SLA 的前提下大幅降低大规模 GPU 推理成本。 架构基于 Amazon ECS 多容量提供者策略,分散使用 g4dn、g5、g6 实例族,并通过 Amazon SQS 实现中断任务自动重试。 该方案满足医疗、金融等行业的欧洲数据驻留合规要求,已在 AWS Marketplace 提供 API 服务。
Hugging Face 发布教程,指导利用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐构建抓放模拟。 SimReady Central 提供带验证属性的 OpenUSD 资产,示例采用 GPT-6 Sol 生成控制代码,需安装 Isaac Sim 6.2。 该流程通过 Profile 验证确保资产物理属性正确,支持开发者复用经过基准校验的机器人组件。
Amazon SageMaker HyperPod 推出 Data Capture 功能,将实时推理输入输出记录至 Amazon S3,帮助团队检测数据漂移。 该功能提供三个独立层级,支持在 SageMaker 端点、负载均衡器或模型 Pod 处采集全量负载,且对模型可用性零影响。 用户可利用捕获数据通过 Amazon Athena 分析并标记新盲区,结合微调提升特定领域模型准确率。
Amazon Bedrock 可通过零代码改造的 IAM principal 归因功能,追踪 Claude Code、Codex 等 AI 工具在每次推理调用中的用户级成本。该教程展示了配置 IAM Identity Center 实现单用户认证、将 session 标签写入 CUR 2.0 以进行成本拆分,以及如何结合 AWS Budgets 或 LLM Gateway 设置用量上限的完整流程。
针对 typed-decision 模型 Laya,一个 130 行 NumPy 的配方可显著改进其置信度校准效果。 在 1,065 个 LLM 标注的合成数据上,按桶交叉拟合的温度标度将 bucket-macro ECE 从 0.143 降至 0.073;12 选项桶过于自信(+0.22),3-5 选项桶过于保守(-0.05),分桶处理是主要收益来源。
Agent skills 是一种以版本化目录和 SKILL.md 为核心的可复用指令集,允许在不同 Agent 间共享重复任务逻辑。文章通过 Proof Agent 和 Data Forge 示例,展示了如何将项目配置与技能逻辑分离、协调多技能工作流以及集成人类检查点。
推荐理由:提供构建可跨 Agent 复用技能的结构化指南,涵盖上下文分离、多技能协调及 CI 验证等关键实践。
Natera 基于 Amazon Bedrock AgentCore 搭建 SWARM 系统,为实验室设备工单提供自动诊断。swarm-agent 自动产出诊断报告,swarm-hive 支持工程师交互追问,两者共享一个包含 33 项技能的技能库。评估数据显示,平均首次响应时间从 17.4 小时缩短到约 8 分钟,96.2% 的工单可自动给出首轮响应。
AWS 官方技术团队实测并解析了影响 Amazon Bedrock 推理成本的四个请求级配置选项,包括提示缓存时间、服务层级(Flex/Standard)、自适应推理强度(Reasoning effort)和输出 Token 限制(maxTokens)。
推荐理由:通过实测 4 种请求级配置,揭示了 Bedrock 隐性计费规则与成本平衡点,提供了从 5 分钟缓存切换到 1 小时缓存的判断依据。
本文提出在 Amazon Bedrock 上计算和优化模型任务级成本的框架。文章指出任务成本受分词器效率、输出对齐、Agent 循环效率与推理开销四个隐性因素影响,并通过案例说明列表价更高的模型因分词更少、零次试错完成,实际成本反而更低 65%。
推荐理由:文章展示了在 Amazon Bedrock 中结合四个隐性成本驱动因素与实际工作负载计算任务级成本的框架,并给出了证明 Agent 投资回报率的五维记分卡与落地步骤。
AWS 官方博客展示如何利用 Amazon Bedrock 自动记录的 IAM 主体身份,结合 CUR 2.0 和 AWS Budgets 实现按用户或团队的大模型成本追踪与支出限额。该方法无需编写应用代码,通过激活成本分配标签生成可见性,并利用 Budget 动作在超额时自动应用 Deny IAM 策略以限制对高成本模型的访问,从而实现原生的 FinOps 管控。
使用 Amazon Bedrock 和 LiteLLM 可构建自助式 LLM 网关,将 Bedrock 抽象为 OpenAI 兼容 API,支持按用户成本控制与模型性能观测。
AWS 推出 Agent Development Lifecycle(Agent DLC)框架,提出包含六个活动(Define, Build, Evaluate, Release, Observe, Feed Back)和双重循环的智能体工程方法论,用于将 AI 智能体从原型推向生产环境。
AWS 发布方案通过多层防线让企业 Agent 共享知识库时仍按用户权限检索。核心流程为:通过 AWS Cognito 与 Lambda 在访问令牌中注入邮箱。
推荐理由:文章给出多层防线与可部署的CDK堆栈,读者可据此在共享Agent场景中隔离各用户的数据访问权限。
AWS 官方团队发布了一个参考架构,展示如何通过 A2A 协议让不同组织、不同框架(LangChain 和 Strands)的智能体互操作并共享任务。该方案部署在 AWS 上,涉及 Amazon Bedrock AgentCore 和 Cognito,无需共享密钥,支持跨组织信任边界。系统使用三个 Jupyter Notebook 进行部署,并包含端到端测试以验证双向调用和鉴权机制。