企业如何利用 NVIDIA DSX 突破电力瓶颈
全球企业利用 NVIDIA DSX AI 工厂平台将电网与 AI 工厂作为单一系统进行规划、模拟和运行,以解决电力这一主要基础设施瓶颈。 目前美国有超过 2000 亿美元设备积压,且超过 200 吉瓦的项目在电网互联队列中等待,而孤立设计的电网、设施和计算系统是瓶颈的根源之一。
全球企业利用 NVIDIA DSX AI 工厂平台将电网与 AI 工厂作为单一系统进行规划、模拟和运行,以解决电力这一主要基础设施瓶颈。 目前美国有超过 2000 亿美元设备积压,且超过 200 吉瓦的项目在电网互联队列中等待,而孤立设计的电网、设施和计算系统是瓶颈的根源之一。
RCSD 提出通过强化学习和持续学习优化推测解码中的草稿模型,将训练目标对齐于最大化系统级接受长度。 该框架利用推测推理中自然产生的接受/拒绝序列构建隐式偏好对,并采用掩码损失避免惩罚与目标模型对齐的 token,克服了传统软标签蒸馏在高熵区域导致接受率下降的问题。
开源工具 Dooly 实现了配置无关的 LLM 推理仿真剖析,在 12 个模型上将剖析 GPU 时数降低 56.4%。 它通过单次推理路径和污点传播标记维度来源,仅剖析缺失操作,利用现有仿真器初始化代码隔离状态操作。仿真精度上,TTFT 的 MAPE 在 5% 以内,TPOT 在 8% 以内。
SeFoRA 是一种草图聚合联邦 LoRA 算法,解决客户端 LoRA 秩不同导致的维度不兼容及双线性失配问题。 每个客户端传输本地更新 $\Delta \mathbf{W}$ 的线性草图供联邦端直接聚合,理论证明收敛速率为 $\mathcal{O}(T^{-1/2})$。 该方法在语言与视觉模型实验中对现有技术表现出性能优势。
提出轻量级自回归适配器Weaver,通过构建提案树恢复条件依赖,实现4.08倍加速。 针对Gated Delta Net层优化CUDA内核,较DFlash基线性能提升16.3%。
该研究通过统一基准评估大语言模型的低比特量化技术,发现旋转与缩放是最佳的预量化变换方法。 实验表明更细的粒度提升了性能但增加了存储,非对称量化对激活值的收益显著高于权重。 针对 MXFP4 和 NVFP4 格式,研究发现缩放因子精度影响显著,且基于旋转的变换在这两种格式下改进甚微。
研究提出 TrainBridge 智能体方法,利用 GPU 编译栈生成的优化执行作为参考指导 NPU 训练程序重写,平均实现 1.7 倍加速。 该方法适用于 LLM 预训练、图像分类及视觉语言模型训练等负载,在 27 个 Modded-NanoGPT 速度竞赛记录中平均加速近 2.0 倍,通过迭代性能剖析持续优化 NPU 计算效率。
作者利用冻结骨干加 rank-16 LoRA 适配器,通过单前向传播回答三个类型化问题,将 1,000 个会话的裁判成本降至前沿 LLM 的 1%(约 $0.06)。 在 JevBench 111 个难题上,35B 模型得分 79.3%,显著优于五个开放系统,且无需额外参数即可读取冻结输出层。
针对深度学习在真实场景中因分布偏移导致的评估难题,研究人员提出 MOVAL 模型评估工具。该工具利用无标签测试数据估算模型性能,通过引入类别置信度校准缓解类别不平衡影响,并结合集成方法提升鲁棒性。在自然图像和医学图像数据集上验证后,MOVAL 在准确率、F1-Score、AUC 等指标上达到 SOTA 结果,支持在类别、实例和像素层级提供准确估算,确保机器学习模型的透明与安全部署。
summary_zh: FlashNext-RL 框架在单台 8xB200 节点上实现 Qwen3.8-Flash-Next 全模型 BF16 训练,优化 131K 上下文下吞吐量至 4,438 tokens/s/GPU。
当更低精度可用时,在相同比特数下添加 2:4 稀疏性比降低精度更差,因其导致精度更低且速度更慢。 当量化达到硬件最低精度时,2:4 稀疏性可使线性层加速 1.3–1.7 倍;在 H100 上,经重新训练的 2:4 模型以 FP8 通过 vLLM 服务时,prefill 吞吐量比密集 FP8 模型高 27%,GSM8K 准确率相当,但需重新训练恢复困惑度,且在 Blackwell 架构上损失更大。
LEAN 通过复合正则项将敏感权重尾部缩小 5-13 倍,使 ResNet-50 等模型在准确率损失<0.5% 下提升抗比特翻转能力。 结合 BCH 编码覆盖 1% 权重,该方案使模型在 300 次渐进式比特翻转中全种子存活,且 8/6/4/3 位格式存储体积较 INT8 小 2.4 倍。
KVLearn 框架通过前缀重用预测器(PRP)、成本感知保留分数(CARS)和自适应阈值控制器(ATC)优化分离式 LLM 服务中的 KV 缓存保留决策,显著降低首 token 时间。 在文本和多模态工作负载中,KVLearn 相比 No-Cache 降低端到端首 token 时间最高达 56%,相比 LRU-Pool 减少 38%,并将节点间 KV 传输量降低最高 53%。代码已开源。
针对 LLM 智能体 KV 缓存成本痛点,提出 Cache Engineering 方案,支持直接控制缓存而不修改轨迹。 通过 drop 排除缓存并配合 AKV 引擎优化复用,基准测试平均分提升 1.7 分,成本降低 27.7%。 P95 延迟加速 1.5 倍,自改进策略额外降低 7.1% 成本。
CERTA 证明量化模型可替代 BF16 参考模型处理临床验证,8-bit 量化准确率达 99.8%-100%。 4-bit 量化使 Qwen2.5-72B 部署成本降至 BF16 的 25.8%,峰值内存 43.0 GB。 外部基准 F1 变化均值 0.045,该策略将压缩转化为风险可控部署。
Specter 是一个结合量化与推测解码的 MoE 推理系统,专为解决专家卸载带来的 PCIe I/O 瓶颈而设计。在单请求推理场景下,该系统相比最先进系统实现了 1.50x(最高 1.88x)的平均 TPOT 加速。Specter 让受内存限制的单 GPU MoE 推理在普通硬件上更具实用性,代码已开源,论文被 ASPLOS 2027 接收。
DStill 框架通过蒸馏多步细化轨迹,将单步起草的接受长度提升最高 28%,推理速度提升最高 25%。 该方法利用课程学习策略,从部分掩码到完全掩码逐步训练,使模型在一次传递中完成最终补全。 相比自回归解码,DStill 实现了最高 6.45 倍加速,在三个模型族的推理、数学和代码基准测试中表现优异。
Token-Energy Law 模型将 GPU 能耗拆解为活跃字节与 realized decode time 两个维度,解释了批处理、KV 缓存对能耗的影响。 该公式在 NVIDIA Hopper 和 Blackwell GPU 上通过三个模型的 BF16 解码实验验证,预测值与实测均值误差最大仅为 3.73%。
AWS 官方发布开源多智能体数据分析系统 Deep Insight,演示了五种生产级挑战的解决方案。架构基于 Strands Agents SDK 和 Amazon Bedrock,采用 Graph 与 Agents-as-Tools 模式分配专属模型,结合 Fargate 容器沙箱执行生成代码,并包含监控仪表盘与操作面板,提供本地、Web 及托管三种部署选项。
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
Hugging Face 发布 TorchNeuron 性能分析教程,指导用户在 AWS Trainium 上系统性分析推理性能瓶颈。 教程覆盖 Neuron 作为 PyTorch 后端原理,演示通过 NeuronConfig 和 torch.profiler 捕获 trace,并利用 Neuron Explorer 查看硬件执行细节。
Hugging Face 发布 TorchNeuron 性能分析教程,指导用户在 AWS Trainium 上系统性分析推理性能瓶颈。 教程覆盖 Neuron 作为 PyTorch 后端原理,演示通过 NeuronConfig 和 torch.profiler 捕获 trace,并利用 Neuron Explorer 查看硬件执行细节。
OpenAI 构建了 ChatGPT 的 LLM 驱动广告技术栈,旨在理解对话意图并大规模投放相关广告。 该架构确保广告与回答严格分离,以支持用户信任与相关性目标。
summary_zh: NVIDIA 推出 Confidential Bare Metal 部署选项,利用机密计算保护专用第三方基础设施上的敏感工作负载,确保模型和数据控制权属。
NVIDIA 推出 NVIDIA Factory Operations Blueprint(FOX)早期访问版及 cuDSS 通用版,支持欧洲工业企业优化工程与制造流程。
NVIDIA 欧洲云合作伙伴正扩展计算能力,支持模型训练与推理,并强化 AI 智能体的安全边界。 Nscale 利用 NVIDIA DSX MaxLPS 在 GB300 NVL72 系统上实现 37% 更多 GPU 利用率。
Google Cloud和NVIDIA宣布NVIDIA Vera Rubin基础设施的实例将于下月通用可用,并计划扩展至欧洲。A5X实例整合了Vera Rubin NVL72、ConnectX-9 SuperNICs和第四代液冷技术,以支持大规模Agentic推理和强化学习工作负载。
推荐理由:官方确认了A5X实例在Google Cloud的通用可用性及欧洲扩展计划,并展示了其支撑大规模强化学习的集成平台架构。
Qoder将于10月22日16:30举办直播,由阿里云数据库高级技术专家为知分享数据库护栏的实际应用策略。直播将探讨为何写在提示词、Rules和Skill中的约束可能失效,并介绍四层护栏与“护栏四问”。 现场演示将展示同一条删除请求如何在执行前被拦截并留下记录,以证明护栏必须安装在执行路径上而非仅靠提示词。
提供独立沙箱隔离环境与自动化评估器,支持在 Agent 副本上安全优化,避免影响线上业务。 让 Agent 从单次试跑转向制度化考核,沉淀业务数据资产以提升长期可靠性。
超级峰分享 AI 开发实践,主张以场景驱动取代工具驱动,通过“提出需求—AI 执行—人工验收”循环实现 Human in the Loop。他将验证能力沉淀为自动化工作流,利用 Skill 和定时任务减少人工介入,确保产品持续迭代。
Racer 是一款 PTX 级符号等价性检查引擎,通过执行内核与参考实现于符号输入,将输出转换为精确代数表达式以识别逻辑错误。它在 2408 个生产内核和 41 个收集目标中发现 82 个真实 Bug,涉及 23 个库,其中 76 个为未知 Bug,41 个已确认。
长上下文 LLM 本地推理主要受限于自我注意力机制的资源低效利用,最新 GPU 往往表现最差。 研究分析多代 GPU 瓶颈,将问题归结为 KV cache 分页、缓存利用率和同步等数据管理难题。
CALM 通过离线校准层头合并策略,在相同显存预算下优化视频生成 KV 缓存压缩,使 LPIPS 降低约 21%。 该方法利用注意力输出误差作为轻量代理,结合动态规划确定最佳合并比例分配。
summary_zh: MLIPS 提出免训练的多层索引池共享方法,在 DeepSeek-V4-Flash 上通过 vLLM 实现长上下文推理加速 1.14 至 1.40 倍,并将 GPU 能耗降低 14.8% 至 27.4%。
自适应多 token 预测(AMTP)方法将解码速度最高提升 4.1 倍,且在 10 种设置中的 8 种匹配或超越固定窗口性能。 该方法基于 Llama-3.1-8B-Instruct、Medusa 头及 Qwen3-4B-Inst-2507-MTP 构建,在 AIME 2025 和 GSM8K 上评估,吞吐量最高提升 10%。
研究提出ACE-Compression框架,评估六个开源LLM在量化与剪枝压缩下的能力保留情况。 该框架涵盖程序推理、知识接地、社交认知及人格一致性四个维度,发现量化通常优于剪枝,但结果依赖于具体应用所需能力。 该方法将模型压缩从单纯关注准确率下降转变为可解释的能力诊断过程,为部署者提供方法选择依据。
OpenAI API 现已支持 12 小时提示词缓存,允许持久型 Agent 在一天内复用上下文。在 Codex 和 Work 中,登录用户的缓存永久保留,用户重返旧对话或间隔数小时后恢复时均无惩罚并保证命中缓存。
Octave 利用 Amazon Bedrock 和 Cohere Embed v4 构建三层多租户 AI 基础,将用例部署时间缩短 50%。 架构通过 AgentCore Gateway 和 Amazon Bedrock Guardrails 确保租户数据隔离,并在单一工作日内嵌入 20 亿份文档。
AWS展示了在Amazon SageMaker HyperPod上使用SFT和GRPO微调GPT-OSS-20B,使其推理和回答语言支持法语、德语、西班牙语和意大利语。基础模型多语言推理正确率仅为22%,SFT将推理语言正确率提升至100%,GRPO在SFT基础上将回答语言正确率从62%提升至70%。
推荐理由:给出了GPT-OSS-20B微调后的多语言准确率变化,以及SFT和GRPO在不同能力缺口下的选择逻辑。
Amazon Bedrock AgentCore 提供智能层,结合 Amazon Quick 实现无代码对话式供应链管理。 AgentCore 通过 MCP 协议连接企业系统,Agent 可自动规划调用链以查询中断影响并生成缓解建议。 该方案将数据分析时间从 45-60 分钟缩短至数分钟,且所有变更需经人工审批以确保安全。