跳到正文
今天11月20日周五1 条
  1. AWS Machine Learning Blog32

    Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片

    在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。

11月19日周四
  1. AWS Machine Learning Blog62

    Airbnb 如何在 Amazon Bedrock 上用量化成本运营编码智能体

    Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。

    推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。

  2. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore Gateway 如何在中心防火墙架构中连接私有 API

    展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。

  3. Hugging Face Blog61

    Transformers 实现 MoE 专家流式加载,180B 模型仅需 32GB 内存

    Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。

    推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。

11月18日周三
  1. AWS Machine Learning Blog52

    降低生成式AI成本:规则用代码实现,判断类任务交给模型

    AWS 提出降低生成式 AI 成本的框架,建议先判断工作流步骤是否需要模型,再用确定性代码处理规则、用受限决策调用处理固定选项、仅在开放式任务中调用 Amazon Bedrock 模型。文章给出了决策流程图和基于 AWS Step Functions、AWS Lambda 与 Bedrock 结构化输出的实现示例,强调通过缩小模型规格和避免不必要的模型调用来控制成本与延迟。

  2. AWS Machine Learning Blog52

    Amazon Bedrock AgentCore 推出 WhatsApp 渠道 AI 智能体开源工具包 SMART

    AWS 发布面向 WhatsApp 渠道的开源工具包 SMART,帮助开发者基于 Amazon Bedrock AgentCore 构建生产级 AI 智能体。该工具包提供 Python SDK 与 Terraform 架构,处理消息解析、多模态媒体处理、持久化记忆和模板合规等底层任务,开发者仅需编写智能体核心逻辑与业务规则即可通过单条命令部署。

11月17日周二
  1. AWS Machine Learning Blog47

    多智能体设计模式、反模式及制造业经验分类

    约88%的AI试点未能进入生产环境,多智能体协调属于分布式系统问题。斯坦福HAI研究表明,当协调开销超过收益时,双模型协作表现可能不如单模型。 该文章将协调模式分为两层:层级1由用户定义确定性路径,层级2由LLM在运行时自主决定路径。十步95%可靠性对应59.9%端到端成功率,每步依赖都会放大风险。 文章还指出节拍时间、安全边界及换班周期等制造业因素会直接影响架构设计。

  2. AWS Machine Learning Blog65

    Duco 如何用 Amazon Bedrock AgentCore 重构金融数据自动化

    金融服务平台 Duco 使用 Amazon Bedrock 和 Amazon Bedrock AgentCore 重构智能体技术栈,以应对传统机器学习的局限。系统采用多租户隔离架构和按需加载的 MCP 技能设计,将上下文占用降低 90%,使对账部署速度提升 10 倍,一家全球银行的入驻成本降低了 70%。

    推荐理由:Duco 在受监管的多租户环境中落地智能体系统,提供了 MCP 按需加载工具与严格隔离的具体工程架构。

  3. AWS Machine Learning Blog75

    Amazon Bedrock Guardrails 编写拒绝主题的八项最佳实践

    Amazon Bedrock Guardrails 发布编写拒绝主题(Denied Topics)的最佳实践指南。文章指出以“金融”“法律”等主题领域命名会导致误拦截合法查询,建议围绕用户的具体意图和动作进行重构。

    推荐理由:原文拆解了四类常见错误并给出改写示例,帮助使用者规避误拦截和漏拦截。

11月14日周六
  1. AWS Machine Learning Blog31

    Amazon Bedrock AgentCore runtime V2 快速会话启动架构模式解析

    Amazon Bedrock AgentCore runtime V2 采用环境快照机制,将会话启动时的镜像拉取与初始化前置,从而加速恢复过程。 V2 在创建或更新运行时生成快照,新会话通过恢复快照启动,仅按需从镜像加载文件。 该版本支持构建钩子以预热依赖,并通过 CloudWatch 指标区分平台开销与代码执行时间。

  2. AWS Machine Learning Blog30

    AssemblyAI 利用 Amazon EC2 Spot 在 AWS 上优化语音转文本推理成本

    AssemblyAI 采用 Amazon EC2 Spot 与按需实例混合架构,在保持 SLA 的前提下大幅降低大规模 GPU 推理成本。 架构基于 Amazon ECS 多容量提供者策略,分散使用 g4dn、g5、g6 实例族,并通过 Amazon SQS 实现中断任务自动重试。 该方案满足医疗、金融等行业的欧洲数据驻留合规要求,已在 AWS Marketplace 提供 API 服务。

  3. Hugging Face Blog36

    使用 SimReady 资产在 Isaac Sim 中构建机器人抓放模拟

    Hugging Face 发布教程,指导利用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐构建抓放模拟。 SimReady Central 提供带验证属性的 OpenUSD 资产,示例采用 GPT-6 Sol 生成控制代码,需安装 Isaac Sim 6.2。 该流程通过 Profile 验证确保资产物理属性正确,支持开发者复用经过基准校验的机器人组件。

  4. AWS Machine Learning Blog43

    Amazon SageMaker HyperPod 新增 Data Capture 功能以构建模型改进飞轮

    Amazon SageMaker HyperPod 推出 Data Capture 功能,将实时推理输入输出记录至 Amazon S3,帮助团队检测数据漂移。 该功能提供三个独立层级,支持在 SageMaker 端点、负载均衡器或模型 Pod 处采集全量负载,且对模型可用性零影响。 用户可利用捕获数据通过 Amazon Athena 分析并标记新盲区,结合微调提升特定领域模型准确率。

  5. AWS Machine Learning Blog58

    Amazon Bedrock 教程:为 AI 开发与生产力工具配置成本归因与用量控制

    Amazon Bedrock 可通过零代码改造的 IAM principal 归因功能,追踪 Claude Code、Codex 等 AI 工具在每次推理调用中的用户级成本。该教程展示了配置 IAM Identity Center 实现单用户认证、将 session 标签写入 CUR 2.0 以进行成本拆分,以及如何结合 AWS Budgets 或 LLM Gateway 设置用量上限的完整流程。

11月13日周五
  1. GitHub Blog · AI & ML71

    Agent Skills 实践指南:构建一次,运行于任意 Agent

    Agent skills 是一种以版本化目录和 SKILL.md 为核心的可复用指令集,允许在不同 Agent 间共享重复任务逻辑。文章通过 Proof Agent 和 Data Forge 示例,展示了如何将项目配置与技能逻辑分离、协调多技能工作流以及集成人类检查点。

    推荐理由:提供构建可跨 Agent 复用技能的结构化指南,涵盖上下文分离、多技能协调及 CI 验证等关键实践。

  2. AWS Machine Learning Blog53

    Natera 用 Amazon Bedrock AgentCore 为实验室运维搭建 SWARM 智能体

    Natera 基于 Amazon Bedrock AgentCore 搭建 SWARM 系统,为实验室设备工单提供自动诊断。swarm-agent 自动产出诊断报告,swarm-hive 支持工程师交互追问,两者共享一个包含 33 项技能的技能库。评估数据显示,平均首次响应时间从 17.4 小时缩短到约 8 分钟,96.2% 的工单可自动给出首轮响应。

  3. AWS Machine Learning Blog63

    Amazon Bedrock 四项推理成本优化配置:缓存、层级、推理与限制

    AWS 官方技术团队实测并解析了影响 Amazon Bedrock 推理成本的四个请求级配置选项,包括提示缓存时间、服务层级(Flex/Standard)、自适应推理强度(Reasoning effort)和输出 Token 限制(maxTokens)。

    推荐理由:通过实测 4 种请求级配置,揭示了 Bedrock 隐性计费规则与成本平衡点,提供了从 5 分钟缓存切换到 1 小时缓存的判断依据。

  4. AWS Machine Learning Blog68

    在 Amazon Bedrock 上优化任务成本并证明 Agent 投资回报率

    本文提出在 Amazon Bedrock 上计算和优化模型任务级成本的框架。文章指出任务成本受分词器效率、输出对齐、Agent 循环效率与推理开销四个隐性因素影响,并通过案例说明列表价更高的模型因分词更少、零次试错完成,实际成本反而更低 65%。

    推荐理由:文章展示了在 Amazon Bedrock 中结合四个隐性成本驱动因素与实际工作负载计算任务级成本的框架,并给出了证明 Agent 投资回报率的五维记分卡与落地步骤。

  5. AWS Machine Learning Blog51

    使用 CUR 2.0 和 AWS Budgets 追踪并限制 Amazon Bedrock 按 IAM 身份的成本

    AWS 官方博客展示如何利用 Amazon Bedrock 自动记录的 IAM 主体身份,结合 CUR 2.0 和 AWS Budgets 实现按用户或团队的大模型成本追踪与支出限额。该方法无需编写应用代码,通过激活成本分配标签生成可见性,并利用 Budget 动作在超额时自动应用 Deny IAM 策略以限制对高成本模型的访问,从而实现原生的 FinOps 管控。

  6. AWS Machine Learning Blog54

    AWS 上如何用 A2A 构建可组合的多智能体系统

    AWS 官方团队发布了一个参考架构,展示如何通过 A2A 协议让不同组织、不同框架(LangChain 和 Strands)的智能体互操作并共享任务。该方案部署在 AWS 上,涉及 Amazon Bedrock AgentCore 和 Cognito,无需共享密钥,支持跨组织信任边界。系统使用三个 Jupyter Notebook 进行部署,并包含端到端测试以验证双向调用和鉴权机制。