Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。
FlexMoE 提出训练后多预算专家剪枝框架,将大型 MoE 模型转化为共享权重的子网络族。 该框架通过重要性排序专家 FFN 通道构建可切片权重空间,单次训练即可生成各预算下的剪枝掩码;在 Qwen2-57B-A14B 上剪枝 50% 路由专家参数后,保留约 99.8% 的基础性能。
SharQ 提出一种免训练方法,将激活稀疏性与 FP4 量化结合以降低 LLM 推理开销。 通过在线稀疏-稠密分解,生成自适应 N:M 掩码提取离群值,并将稀疏主干量化为 FP4,用稠密残差补偿误差。 在 Llama-3.1-8B 等模型上恢复 43%–63% 精度差距,RTX 5090 上实现 2.2–2.4 倍延迟降低。
Arbor 系统通过可插拔搜索策略(如 scored bandit、并行 agent swarms 和深度优先 sweep)赋予自主智能体在优化树上进行推理、回溯和深化的能力。
BubbleTea 首个利用 MoE 专家并行气泡进行微调的共置系统,相比 LLMStation 快 1.9–6.2 倍。 其编译器路径自动从服务 LLM 派生微调块,4 块 A100 GPU 上 p90 推理延迟保持良好。 突发负载下训练速度达普通训练器的 14 倍。
研究提出 SkimPrefill 方法,利用 Qwen3.5-0.8B 等小模型在低分辨率下快速定位关键图文单元,加速视觉语言模型(VLM)处理 100K token 长输入的 Prefill 阶段。
LEDGE 是一种无需执行张量运算即可评估异构边缘设备分布式 LLM 服务的轻量级模拟器。它在 10 台 Jetson 和 Raspberry Pi 设备上测试,Qwen 部署的请求级平均绝对百分比误差低于 3.6%,综合加速比达 135.3 倍。
论文提出代理式框架 Lodestone,通过分析代码计算语义自动发现硬件专用化机会,并在 20 个负载上实现平均 12.6%、最高 80.2% 的加速。 该框架从执行轨迹提取热控制流区域,利用代理描述计算功能并合并为计算族,最终通过参考输入验证语义正确性,进而提出 ISA 扩展等硬件建议。
Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。
ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。
研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。
GateWatch 将 LLM 监控决策规则简化为布尔逻辑,在 Gemma-2-9B 上以 3.8 个 SAE 特征实现 80.49% 测试准确率。 其内存占用降低 99.98%,在 vLLM 中运行千个并发分类器时,仍保持 97-98% 的基线吞吐量。
研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。
提出运行于 NVIDIA Jetson Orin 网关的自学习生产级 HVAC 边缘堆栈,组件利用建筑自有数据持续自适应。 Transformer 预测器在单栋酒店中一周内收敛,送风、新风及风机盘管 MAE 分别为 0.37、0.39 和 0.11 摄氏度;RL 智能体在 104 个单元处于影子模式。
研究揭示低比特压缩导致视觉 CNN 精度坍塌集中于后期 pointwise 投影层。 保留不足 5% 关键层激活为 8-bit 精度,可恢复激进 sub-4-bit 压缩下 92% 的丢失精度。 低比特量化虽降低存储需求,但运行时解包导致 1.48x 至 21.5x 执行速度下降。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。
研究提出 NarrowSpec,证明在推测解码中,DFlash 和 EAGLE-3 草稿模型的隐藏宽度可缩减至目标模型(Qwen3-8B, GPT-OSS-20B)的二分之一或四分之一,且能维持较高的 token 接受率。
在 300 份合成 CV 池中,按工具建议顺序阅读可在半堆内容中发现 95% 的相关候选人,优于随机顺序。 该系统使用冻结的多语言 Transformer 编码器,结合会话级线性模型,每次标签后重新训练并在会话结束时丢弃。 审计发现文档长度即可排序导致指标无效,不确定性采样虽保持模型质量但增加委员会总阅读负载;托管 LLM 嵌入模型将零标签序数判别力从 0.66 提升至 0.80。
Exa 在 AWS Inferentia2 和 Trainium2 硬件上优化嵌入基础设施,吞吐量提升 50%。 通过权重布局优化、自动混合精度及自定义 NKI 内核减少内存溢出和 FLOPS,实现最高 1.5 倍性能增益。 单位经济性的改进支持 Exa 在数十亿文档规模下更高效地索引网络数据。
Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。
Amazon SageMaker HyperPod 推出三项新能力,旨在更早捕获硬件正常但训练失败的问题以提升有效吞吐量。 新增功能包括 MultiNodeTrainingValidation 验证 GPU 计算正确性、Kubernetes 资源监控 Agent 追踪集群组件故障,以及 Slurm 集群的挂起作业检测机制。
OpenAI 联合 AMD 与 Synopsys 展示了 GPT-6.2 Astra 在芯片设计与优化任务上的最新应用成果,其模型在 AMD 旗舰 GPU IP 设计上实现了最高 14% 的 PPA 提升,并应用于 OpenAI 首款自研推理芯片 Jalapeño 的硅前验证中。
AWS 官方在 Amazon Aurora PostgreSQL 中展示了一套 RAG 客服机器人设计模式,专注于实现 AI 可解释性。方案利用 pgvector 进行向量检索,通过 Aurora ML 直接在 SQL 层生成向量嵌入,并使用 Amazon Bedrock Guardrails 验证回答的接地能力。
Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。
推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。
Salesforce 利用 Amazon SageMaker AI 的跨区推理路由解决了全球 30+ 区域的模型容量碎片化问题,实现了在保障数据驻留的同时灵活扩展算力。该功能将容量感知与故障转移逻辑从应用层解耦,支持在 30 秒内完成区域间的流量切换,显著降低了维护成本。
Stretto 基于 Amazon Nova 2 Sonic 语音智能体 Tara 处理破产咨询,将单次通话成本降低 95%。 该语音模型原生处理低延迟音频,优化中断机制,结合 Anthropic Claude 3 Haiku 实现结构化数据提取。
展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。
研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。
Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。
推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。
IBM 时序基础模型现已在 Confluent 平台原生可用,支持云端及本地部署,基于 CPU 运行无需 GPU。 该模型家族累计下载量超 5000 万次,可结合 Apache Flink 通过 SQL 对实时流数据进行预测、异常检测和优化,适用于制造、零售及银行业。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
JigSLO 提出一种感知带宽争用的多 LLM 服务系统,平均将 SLO 达标率提升 2.3 倍,吞吐量提升 1.2 倍。 系统通过联合优化张量并行、计算份额与批次配置,在长上下文工作负载中仅需一半 GPU 即可匹配基线的最佳达标率。
基于 OpenROAD 的 MLBuf-RePlAce 框架在开源流程中实现 TNS 最大 56%、平均 31% 的改进。 该框架采用递归学习预测 buffer 类型与位置,并解决了传统方法的计算开销及 ERC 违规问题。 在商用流程中,其 TNS 平均提升 28%,且后路由功耗保持无显著退化。
LoopZip 提出了一种无训练视觉 Token 压缩算法,解决循环视觉语言模型中长序列计算和内存开销问题。 在 LoopVL-1B 上,该算法在 50% 修剪比下保留 97.16% 的原始性能,在 87.5% 修剪比下超越最强基线 5.36%。
研究人员提出首个针对 scale-up memory 的稀疏注意力 offloading 系统 XM-Sparse。该系统在 SGLang 框架上实现,利用 TMA 检索与 SM 高效 DMA 预取解决 HBM 容量限制。 在 DeepSeek-V3.2 和 GLM-5.3 模型上,XM-Sparse 解码吞吐量比 PCIe 基线提升最高 4.98 倍,比同平台原生集成提升 1.34 倍。
HyCoInfer 提出云边协同推理架构,将 prefill 分配至云端 GPU,解码分布于 GPU 与边缘 FPGA。在 500 Mbps 链路下,其请求 goodput 达 vLLM 的 4.11 倍,平均延迟降低 61.1%。该系统通过异构卸载与带宽自适应 KV 压缩,显著提升通信密集型任务的推理服务容量并降低能耗。
研究 Qwen3-8B 在 NVIDIA B200 上的混合精度量化,发现特定配置通过 FINAL-81 测试集全部门槛。 该配置包含 16-bit 激活、98 个 NVFP4 权重模块及 46 个 INT8 模块,权重内存占用 5.917 GiB。 相比 NVFP4 W4A4,配对准确率提升 1.4 个百分点,TPOT 比为 0.939,验证了非加法性模块恢复效应。
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。