跳到正文
  1. AWS Machine Learning Blog62

    Airbnb 如何在 Amazon Bedrock 上用量化成本运营编码智能体

    Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。

    推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。

  2. Hugging Face Blog61

    Transformers 实现 MoE 专家流式加载,180B 模型仅需 32GB 内存

    Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。

    推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。

  1. AWS Machine Learning Blog71

    Amazon SageMaker HyperPod Inference 新增 NVIDIA Dynamo 托管推理能力

    Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。

    推荐理由:通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。

  2. AWS Machine Learning Blog68

    SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由(KV-aware routing),利用模型容器上报的缓存状态将请求路由到已有长缓存匹配的实例。测试显示该策略在多轮对话场景下可降低 97% 的 p50 首 token 延迟,并提升 234% 的吞吐量,需通过环境变量开启缓存事件上报并在端点配置中设置策略为 KV_AWARE。

    推荐理由:文章对比了两种路由策略在缓存命中率和延迟上的差异,并给出了在 SageMaker 中配置和验证的具体步骤,有助于评估该功能在自身推理服务中的收益。

  1. arXiv · AI66

    Superfluid:面向分布式 LLM 推理的本地 AI 服务器

    Superfluid 是开源 LLM 服务器,用于本地设备上的 LLM 推理,支持单设备多智能体共享模型及跨设备集群服务。

    推荐理由:原文给出了具体硬件下的延迟改善和吞吐数据,读者可据此评估分布式本地推理在实际混合算力场景中的可行性。

  1. Google Research85

    Google Research 发布 Antigravity /teamwork 多智能体协作功能及最新科研成果

    Google Research 宣布在 Antigravity 平台开放 /teamwork 多智能体协作功能,并展示了其在数学证明、分子化学发现及代码优化等领域的最新应用成果。

    推荐理由:原文展示了多智能体在数学证明、分子发现和代码迁移中的实际应用,读者可据此评估其在科研和工程领域的可用性。

  1. AWS Machine Learning Blog63

    Amazon Bedrock 四项推理成本优化配置:缓存、层级、推理与限制

    AWS 官方技术团队实测并解析了影响 Amazon Bedrock 推理成本的四个请求级配置选项,包括提示缓存时间、服务层级(Flex/Standard)、自适应推理强度(Reasoning effort)和输出 Token 限制(maxTokens)。

    推荐理由:通过实测 4 种请求级配置,揭示了 Bedrock 隐性计费规则与成本平衡点,提供了从 5 分钟缓存切换到 1 小时缓存的判断依据。

  2. AWS Machine Learning Blog68

    在 Amazon Bedrock 上优化任务成本并证明 Agent 投资回报率

    本文提出在 Amazon Bedrock 上计算和优化模型任务级成本的框架。文章指出任务成本受分词器效率、输出对齐、Agent 循环效率与推理开销四个隐性因素影响,并通过案例说明列表价更高的模型因分词更少、零次试错完成,实际成本反而更低 65%。

    推荐理由:文章展示了在 Amazon Bedrock 中结合四个隐性成本驱动因素与实际工作负载计算任务级成本的框架,并给出了证明 Agent 投资回报率的五维记分卡与落地步骤。

  3. AWS Machine Learning Blog65

    Amazon Bedrock 为托管知识库工具实现细粒度访问控制

    AWS 发布方案通过多层防线让企业 Agent 共享知识库时仍按用户权限检索。核心流程为:通过 AWS Cognito 与 Lambda 在访问令牌中注入邮箱。

    推荐理由:文章给出多层防线与可部署的CDK堆栈,读者可据此在共享Agent场景中隔离各用户的数据访问权限。

  1. AWS Machine Learning Blog69

    使用 LangGraph 与 Amazon Bedrock AgentCore Web Search 构建每日依赖项监控工具

    Amazon Bedrock AgentCore 的 Web Search API 现已可用,它为智能体提供带有来源引用的最新网络搜索结果。这篇文章介绍了一个使用 LangGraph 结合该 API 构建安全团队每日依赖项监控工具的教程,该工具通过并行搜索 npm、PyPI 和容器基础镜像,并利用代码层限制和证据检查机制来确保结果准确。

    推荐理由:文章展示了如何在 LangGraph 中将不可更改的规则与数据保留在代码中,提供生产级智能体的构建范式。

  1. Tibo (X)66

    Dots 新增控制多台机器的功能

    Dots 现可控制除默认云电脑外的多台机器。作者指出,用户可将多台本地电脑连接到同一个 Dots 实例,并针对具体任务选择使用哪一台机器。例如,Dots 可以在专用机器上构建和测试应用程序,同时用户可以在自己的笔记本电脑上继续编写代码。

    推荐理由:展示了 Dots 在本地多机与云端之间的任务分发能力,为构建跨设备工作流提供了新的切入点。

  1. 美团技术团队80

    美团正式开源 1.6 万亿参数 LongCat-2.5:多模态模型在国产算力上实现高效推理

    美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。

    推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。

  1. NVIDIA Blog65

    NVIDIA 发布 Vera CPU:最高吞吐量与最快 Agent 性能

    NVIDIA 发布 Vera CPU,其在单颗处理器内兼顾了高吞吐量与快 Agent 性能,解决了 AI 工厂对每瓦特处理能力的限制。在 100MW 数据中心对比中,Vera 比最快的 x86 CPU 实现了 1.6 倍的每瓦特 Agent 密度,比最具能效比的 x86 CPU 实现了 2 倍的 Agent 速度。

    推荐理由:官方给出了 Vera CPU 与 x86 在能效比下的实测对比数据,读者可以据此判断其在 AI 工厂场景的落地潜力。

  1. Kimi开放平台69

    Kimi Hosted Agents 发布 Harness as a Service 托管智能体

    Kimi Hosted Agents 正式发布 Harness as a Service,提供云端托管环境、独立沙箱及可审计留痕机制,免去企业自建与维护运行框架的数月投入。产品内置 140+ Skills 与 30+ 插件,支持按任务调用,并配备 8 个金融 Agent 开箱即用模板;企业可接入 Kimi Inference Hook 在推理前校验敏感数据,在可控安全规则下完成应用开发。

    推荐理由:该功能将 Harness 底层运维从自建转为托管,企业可免去数月基建维护,结合 140+ 技能快速投研建模上线。

  2. AWS Machine Learning Blog65

    Deep Insight 如何在生产级 AI 智能体中实现四层上下文工程

    AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。

    推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。

  1. AWS Machine Learning Blog67

    Amazon SageMaker AI 通过序列级知识蒸馏构建高效 Agent 教程

    本教程演示了使用序列级知识蒸馏 (SeqKD) 在 Amazon SageMaker AI 上微调购物 Agent。使用前沿教师模型 (GLM-5.3) 生成多步轨迹并过滤,通过有监督微调在服务器上训练 Qwen3.5-4B 学生模型。微调后的 4B 模型在保留推理链的情况下,将绝对成功率从基座的 0.297 提升至 0.541,接近教师模型水平。

    推荐理由:展示了如何仅用教师模型文本输出构建数据集并微调4B学生模型,保留推理链可将任务成功率从41.5%提升至54.1%。

  1. AWS Machine Learning Blog70

    AWS 教程:基于 Amazon Bedrock AgentCore 构建企业级智能体 AI 平台

    AWS 发布架构方案,展示如何在 Amazon Bedrock 和 Amazon Bedrock AgentCore 上构建多账户智能体 AI 平台。方案通过独立的推理与工具网关及严格的部署评测管道,让各业务团队能在隔离的边界内安全开发并运维 Agent,实现规模化企业级治理。

    推荐理由:原文给出了多账户运营模型和评测管道设计,读者可据此理解如何治理企业级 AI 智能体平台。

  1. MiniMax 稀宇科技86

    MiniMax M3.1 Flash 开源,72 小时处理 Token 超 100 万亿

    MiniMax 开源了 MiniMax M3.1 Flash 模型权重,总参数 428B、激活参数 23B。上线 72 小时内真实用户处理 Token 超过 100 万亿。该模型通过全模型稀疏注意力、量化感知训练(QAT)和 Power-aware scheduling 提升了推理效率,并与多家国内外芯片厂商及云服务平台、开源社区完成了首日接入。

    推荐理由:M3.1 Flash 上线 72 小时处理 Token 超过 100 万亿,展示了模型的高吞吐与广泛的芯片/云平台生态适配能力。

  2. AWS Machine Learning Blog65

    SageMaker 推出 training session APIs:免管 GPU 自定义 LLM 训练循环

    SageMaker 上线 training session APIs,开发者在本地代码中编写 SFT、RL 等训练循环,SageMaker 负责 GPU 上的 sample、forward_backward、optim_step 等算力操作。

    推荐理由:SageMaker training session APIs 把训练循环和底层算力分离,让开发者可以保留算法控制权同时避开 GPU 运维。

  1. 哩布哩布AI66

    可灵 4.0 满血版上线 LibTV,支持 30 秒原生视频生成与 10 张关键帧控制

    可灵 4.0 满血版正式上线 LibTV,支持最长 30 秒原生视频生成,强化高速运动、复杂镜头调度与动态场景中的物理一致性。该版本支持最多 10 张关键帧控制与 15 项多模态参考,以提升角色表演、场面调度及镜头语言的精细控制能力,同时升级人物微表情、光影层次、材质还原及多语言音画同步效果。

    推荐理由:可灵 4.0 满血版在 LibTV 上线,支持 30 秒原生直出、10 张关键帧控制及 15 项多模态参考,提升了高速运动与复杂运镜的物理一致性。