AWS Agent Registry 正式发布,支持智能体运行时动态发现工具
AWS 发布 Agent Registry 服务,提供 MCP 服务器、A2A agent 与 agent skills 的目录登记与运行时语义检索能力。
AWS 发布 Agent Registry 服务,提供 MCP 服务器、A2A agent 与 agent skills 的目录登记与运行时语义检索能力。
AWS 结合 AtScale 与 Amazon Bedrock AgentCore 构建 Agentic AI 语义层,利用 AtScale C2026.7 版本模型处理跨系统数据。
AWS 发布教程,展示利用 Denodo Platform 与 Amazon Bedrock AgentCore 为 Agentic AI 构建语义层,实现企业数据联合访问。
Eon 利用 Amazon Bedrock AgentCore 部署统一的 MCP 网关,取代分散的工具凭据与本地 MCP 进程。 该网关通过 Cedar 策略实现跨 AWS、GCP 和 Azure 的权限控制,支持身份分离与跨账户访问。 新工程师配置工具的时间从两天缩短至约两分钟,显著降低了多云运维的集成成本。
Hugging Face 发布 TorchTPU,使 TPU 成为 PyTorch 的原生后端,Transformer、Diffusers 和 Kernels 库均可原生运行于 TPU。
Hugging Face 团队发布 AnyLanguageModel 1.0 及配套 Swift 框架,在 Apple 平台实现统一 API,支持本地模型通过 llama.cpp、MLX 或 Core ML 运行,并兼容 OpenAI、Google Gemini、Anthropic 等云端服务。
DeepSeek 官方宣布全面开源内部推理框架 DeepInfer 及生产级 Token 编解码组件 deepseek-recipe,旨在通过分享部署经验帮助开发者优化大规模推理的吞吐与延迟。
推荐理由:开源框架支持多种解码能力并兼容主流硬件平台,开发者可直接复用其部署经验以降低大规模推理成本。
上海正式发布“魔玩时空-开源城市”OPC社区,商汤大装置深度参与建设,依托云宇星空大模型实现全国首次城市级脱敏时空数据面向全社会开放。 云宇星空大模型已积累15亿Token语料及1.3万对高质量问答,覆盖规划设计、测绘地理等领域,并开放数据、模型算力、知识语料及智能体四类核心资产。 该平台支持多方协同共创,降低城市空间智能创新门槛,探索AI赋能城市治理与发展的新路径。
Gypscie 是一个跨平台 AI 制品管理系统,通过知识图谱和基于规则的查询语言提供统一的制品视图,简化 AI 应用开发与部署。 系统支持将模型生命周期活动表示为高层数据流,并可在服务器、云平台或超级计算机上调度,同时记录溯源信息以支持可解释性。
Koi 是一种自校准集群规划器,在异构集群上将每 token 成本降低 20%,好put(goodput)较最强基线提升 1.18 倍。 它采用递归语言模型(RLM)层级生成假设,并用固定因果图关联加速器、并行度等决策与延迟、吞吐量等结果。 Koi 的消融实验显示,完整规划器综合得分 70.8,显著高于纯语言模型的 35.3 和配备确定性工具的 51.6。
视觉Token剪枝旨在降低多模态模型推理成本,现有研究多聚焦于设计特定选择器以获取增量性能提升,但未明确当前性能瓶颈源于剪枝方法固有极限还是算法限制。 该工作提出QA-MBG方法,通过在固定预算下选择共享视觉Token子集来支持广泛图像问答分布。
UC-RAMP通过分离专家容量分配与通道选择,在25%和50%剪枝率下于6种设置中的5种取得最高十任务平均准确率。 在50%剪枝下,该框架在三款模型上分别以8.19、3.96和6.14个百分点的优势超越最强基线。 在单张A100显卡25%剪枝部署中,UC-RAMP使首token时间减少19.7–23.9%,每输出token时间减少20.2–22.3%。
该方法使用噪声加权指标识别敏感通道,分别施加可学习旋转和固定旋转。 预填充加速 2.3 倍,内存节省 3.5 倍,已获 EMNLP 2026 接收。
SinapisAI 团队提出集体模型智能方法论,通过 Model Eval、Mio 和 Mos 三个组件协调互补 AI 模型。 Mio 1.0 Lite 在 9 个基准测试中实现最高平均分,成本降低 73.7-97.5%,预缓存加速检索 23.3 倍。 该方法为协调不断扩展的模型能力奠定了基础。
该研究构建了离散时间动力学模型,分析高并发下 LLM 推理因 KV cache 累积导致的服务引发拥塞及驱逐机制。 针对同质负载,除测度为零的特例外,系统收敛至唯一最坏情形极限环,造成高达 50% 的吞吐量损失。 该工作确立了服务引发拥塞为结构不稳定机制,并推导了维持高吞吐调度的设计原则。
TaQFormer 通过观测数据预训练与 LoRA 微调结合 RCT 数据,优化多维优惠券分配。 14 天在线 A/B 测试显示,在补贴成本率基本不变的情况下,业务价值每用户提升 1.26%,并满足延迟预算。 该方案已全量部署,至 2026 年 10 月已全规模运行数月。
针对 LLM 部署中一次性层剪枝易导致推理能力严重退化且恢复困难的问题,提出迭代式框架 LOOP。 该框架将剪枝与恢复交叉执行,每次移除单层并进行短期在线策略蒸馏,利用恢复过程的轨迹与信号实现感知恢复的层选择。 实验表明,在不同模型规模和剪枝比率下,LOOP 的平均准确率持续优于一次性基线方法。
该研究提出六条款可靠性契约,测得 Spring AI 在 77 个适用案例中满足 72 个,LangChain4j 满足 47 个。 基于 HTTP 边界的 725 行核心实现使三者行为一致,在 91 个案例中满足 90 个,调用延迟中位数为 32-217 微秒。
针对 KV cache 内存瓶颈,多目标搜索工具 MOSAIC 可为 LLM 各层学习最优分配策略。该方法在四种驱逐方法上击败均匀分配 146/154 组配置,RULER 基准提升 48 分。其以 4 倍更少评估和 GPU 时间,实现 75% cache 缩减并保持同等性能。
Conjugate Compilation 提出将推测解码重构为跨模型编译问题,在 NVIDIA B300 和 RTX 5090 GPU 上实现 1.37x 平均加速,最佳达 1.59x。 该框架通过交织布局(interleaved kernels)共置 GEMM 与非 GEMM 任务,提升 RTX 5090 和 B300 的 GPU 利用率至 1.46x 和 1.50x。
FlowMaker 针对动态负载优化 LLM 工作流部署,将 goodput 提升高达 10.14 倍,成本降低 2.77 倍。 该系统通过约束引导的负载感知剪枝算法,在运行时实时选择包含工作流、模型及配置的最优组合。 相比包括 Murakkab 在内的先进基线,其显著降低了推理成本并提升了吞吐量。
研究人员提出多步惯性 ADMM 算法 MiFedADMM,用于加速联邦学习中的收敛。 该算法利用服务器端多个历史迭代值构造高阶外推,单步变体在温和假设下具有 O(1/K) 收敛率。
提出名为 TideKV 的在线 GPU 缓存构建架构,通过层感知延迟驱逐保留全提示 KV,同时显著降低峰值内存占用。 在 A100 上 64K 推理时,构建期临时内存占用降低 83.89%;在 RTX 4090 上 128K prefill 时首 token 延迟仅增加 1.06%。
miniTE 框架通过执行诊断、跨引擎数值对齐及 W4A4 GEMM 计算,解决原生 NVFP4 在 LLM 强化学习中因独立训练与采样引擎导致的数值执行不一致问题。
Coral 是一个自适应、异构感知的多 LLM 服务系统,通过联合优化资源分配与副本服务策略降低成本。 该系统采用无损两阶段分解方法,将在线求解时间从数小时缩短至数十秒。 在 6 个模型和 20 种 GPU 配置的评估中,Coral 相比最强基线降低了最多 2.79 倍的服务成本,并在资源受限下实现了最多 2.39 倍的有效吞吐提升。
CC-Gittins 算法在 LLM agentic workflows 中实现了成本高效的 Pareto 推荐。 该算法通过复用评估信息,在八个基准测试中仅耗费约 10% 的全量评估成本,即可恢复大部分真实的 Pareto 前沿。 该方法已被 NeurIPS 2026 Workshop on RAAAI 接收,显著降低了模型分配的搜索开销。
TokenGate 通过引入可学习 Token 剪枝,在不降低精度的前提下将 Transformer 预填充的 TTFT 加速 1.4-11.3 倍,峰值内存降低 1.5-3.4 倍。
推测解码吞吐量提升取决于接受长度与执行延迟的权衡。研究在10个基准测试和2个目标模型上对比了6种草稿器配方。
AWS 推出新的 SageMaker Studio 访问入口,新用户可通过 Google、GitHub 等账号在 2-3 步内完成注册并进入预配置环境。新账号默认获得 $100 Free Tier 积分及 G5、G6、G4dn GPU 实例访问权限,环境创建时间缩短至 20 秒,并免除了手机号验证和信用卡绑定要求。
2026 年 1 至 9 月,SageMaker JumpStart 新增超过 100 个模型,来自 30 家提供商。 重点纳入 Alibaba(Qwen)29 个模型、NVIDIA 17 个模型及 Mistral 7 个模型,支持 LoRA、SFT、DPO 等微调技术。 强化多模态与高效推理能力,提供量化模型如 GLM-5.2 FP8 和 MiniCPM5-1B。
TorchNeuron 为 PyTorch 在 AWS Trainium 上提供新的原生后端,让 Transformers、Diffusers 和 Kernels 原生支持该后端,使在 Trainium 上运行与共享 HF 模型比以往更容易。
推荐理由:原文介绍了原生后端与兼容性提升,读者可据此评估 AWS Trainium 上运行 HF 模型的开发成本。
vLLM 引入基于 NIXL 的推送式(push-based)KV 传输机制,将协调与传输设置移出关键路径,降低首 token 时延。 在 Amazon EC2 P5en 实例与 Qwen3-32B 模型上,推送模式较拉取模式最高提升 3 倍 TTFT、30% TPOT;该功能在 AWS Trainium 集群验证后作为加速器无关特性贡献至 vLLM。
Deepgram 将 Nova-3 语音转写模型移植至 AWS Trainium2,单实例运行 8 个模型副本,批量处理音频成本降低 11–70%。 采用 TorchNeuron 编译消除 CPU 回退,替换 NKI 内核并微调 FFN 与卷积层,在 batch size 96 时实现 2.0 倍至 50 倍速度提升。
vLLM 引入双向 KV 缓存传输功能,让 prefill-decode 分离部署中 decode 节点保留已生成的 KV 缓存并反向传回 prefill 节点,避免多轮对话时重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 基准测试中,开启该功能后 Qwen3-32B 的 TTFT 最高降低 1.6 倍,zai-org/GLM-5-FP8 最高降低 3.3 倍。
Safhire 混合推理框架通过服务器端加密执行线性层、客户端明文处理非线性,消除了昂贵的 bootstrapping 过程。该设计支持精确激活,并采用随机洗牌保护模型机密性。在标准模型评测中,其推理延迟比 Orion 和 Concrete-ML 分别降低 7.6 倍和 7.4 倍。 该框架结合了快速密文打包和部分提取优化,在保持可比精度的同时,显著降低了计算成本。
该研究探讨在预训练中使用 K-interval attention 近似 softmax 时,对模型前向计算及训练梯度的影响。 实验基于 124M 参数模型与 2.5B 训练 token,比较了网格校准、舍入方式及直通替换项的位置。 在 K=4 时采用固定窗口校准及归一化后替换项,验证集损失差为 +0.019 nats;K=16 时采用归一化前替换项,损失差降至 +0.004 nats。
AWS 发布 Difflet 服务引擎,支持五类扩散模型管线共享编译后端,实现主机控制器动态缓存决策。 在 32.8k 视觉 token 负载下,融合注意力较 PyTorch/XLA 加速 1.2-4.3 倍;四款模型上常驻服务比独立运行快 1.5-3.4 倍。
通过通道回放剪枝和 4 位整数推理,该系统在 0.72M 参数下实现了 95.2% 的识别准确率。 检测器基于 YOLOv5n/YOLOv8n 压缩,剪枝移除 60.3% 参数;识别器使用 W4A8 量化仅占 12.1KB 内存。 在 Jetson AGX Orin 上运行速度达 94 帧/秒,满足汽车嵌入式系统能效约束。
SoCo 框架提出一种数据驱动的方法,通过可学习对角矩阵对 SVD 分解的奇异谱进行重缩放,以优化 LLM 压缩效果。 该方法包含三阶段训练过程,从粗粒度压缩逐步过渡到细粒度稀疏化,利用放大重要分数的剩余组件补偿被剪枝组件的损失,在多模型评测中表现优于最先进方法。
AH-GNO 将床面演变建模为图算子学习问题,直接在非结构化网格上预测床面高程变化。 模型集成面积加权图学习、历史状态选择和预测时域估计,有效历史长度 K 和更新间隔 B 随流态动态变化。 基于 Telemac2D/GAIA 数据在 Bump、Yen bend 及新西兰 Waiho 河验证,CPU-GPU 部署使床面更新时间从 12~1204 秒降至 0.08~3.34 秒。