跳到正文
10月22日周四
  1. NVIDIA Blog35

    企业如何利用 NVIDIA DSX 突破电力瓶颈

    全球企业利用 NVIDIA DSX AI 工厂平台将电网与 AI 工厂作为单一系统进行规划、模拟和运行,以解决电力这一主要基础设施瓶颈。 目前美国有超过 2000 亿美元设备积压,且超过 200 吉瓦的项目在电网互联队列中等待,而孤立设计的电网、设施和计算系统是瓶颈的根源之一。

  2. arXiv · NLP33

    RCSD:基于强化学习与持续学习的领域特定推测解码框架

    RCSD 提出通过强化学习和持续学习优化推测解码中的草稿模型,将训练目标对齐于最大化系统级接受长度。 该框架利用推测推理中自然产生的接受/拒绝序列构建隐式偏好对,并采用掩码损失避免惩罚与目标模型对齐的 token,克服了传统软标签蒸馏在高熵区域导致接受率下降的问题。

  3. arXiv · ML24

    SeFoRA:解决异构客户端秩问题的草图聚合联邦低秩适配方法

    SeFoRA 是一种草图聚合联邦 LoRA 算法,解决客户端 LoRA 秩不同导致的维度不兼容及双线性失配问题。 每个客户端传输本地更新 $\Delta \mathbf{W}$ 的线性草图供联邦端直接聚合,理论证明收敛速率为 $\mathcal{O}(T^{-1/2})$。 该方法在语言与视觉模型实验中对现有技术表现出性能优势。

  4. arXiv · ML24

    大语言模型量化技术全面评估:MXFP4 与 NVFP4 格式的性能分析

    该研究通过统一基准评估大语言模型的低比特量化技术,发现旋转与缩放是最佳的预量化变换方法。 实验表明更细的粒度提升了性能但增加了存储,非对称量化对激活值的收益显著高于权重。 针对 MXFP4 和 NVFP4 格式,研究发现缩放因子精度影响显著,且基于旋转的变换在这两种格式下改进甚微。

  5. arXiv · AI28

    TrainBridge 实现 NPU 训练 1.7x 加速

    研究提出 TrainBridge 智能体方法,利用 GPU 编译栈生成的优化执行作为参考指导 NPU 训练程序重写,平均实现 1.7 倍加速。 该方法适用于 LLM 预训练、图像分类及视觉语言模型训练等负载,在 27 个 Modded-NanoGPT 速度竞赛记录中平均加速近 2.0 倍,通过迭代性能剖析持续优化 NPU 计算效率。

  6. arXiv · ML38

    研究人员提出 MOVAL 工具以无标签数据评估深度学习模型部署安全性

    针对深度学习在真实场景中因分布偏移导致的评估难题,研究人员提出 MOVAL 模型评估工具。该工具利用无标签测试数据估算模型性能,通过引入类别置信度校准缓解类别不平衡影响,并结合集成方法提升鲁棒性。在自然图像和医学图像数据集上验证后,MOVAL 在准确率、F1-Score、AUC 等指标上达到 SOTA 结果,支持在类别、实例和像素层级提供准确估算,确保机器学习模型的透明与安全部署。

  7. arXiv · ML41

    2:4 稀疏性在 LLM 推理中是否仍值得使用?半结构化稀疏与量化的对比分析

    当更低精度可用时,在相同比特数下添加 2:4 稀疏性比降低精度更差,因其导致精度更低且速度更慢。 当量化达到硬件最低精度时,2:4 稀疏性可使线性层加速 1.3–1.7 倍;在 H100 上,经重新训练的 2:4 模型以 FP8 通过 vLLM 服务时,prefill 吞吐量比密集 FP8 模型高 27%,GSM8K 准确率相当,但需重新训练恢复困惑度,且在 Blackwell 架构上损失更大。

  8. arXiv · ML26

    分离式 LLM 服务中 KV 缓存保留策略 KVLearn 框架

    KVLearn 框架通过前缀重用预测器(PRP)、成本感知保留分数(CARS)和自适应阈值控制器(ATC)优化分离式 LLM 服务中的 KV 缓存保留决策,显著降低首 token 时间。 在文本和多模态工作负载中,KVLearn 相比 No-Cache 降低端到端首 token 时间最高达 56%,相比 LRU-Pool 减少 38%,并将节点间 KV 传输量降低最高 53%。代码已开源。

  9. arXiv · ML28

    Specter:基于量化启发的多步推测式卸载加速 MoE 推理

    Specter 是一个结合量化与推测解码的 MoE 推理系统,专为解决专家卸载带来的 PCIe I/O 瓶颈而设计。在单请求推理场景下,该系统相比最先进系统实现了 1.50x(最高 1.88x)的平均 TPOT 加速。Specter 让受内存限制的单 GPU MoE 推理在普通硬件上更具实用性,代码已开源,论文被 ASPLOS 2027 接收。

  10. arXiv · ML34

    DStill:用于加速块扩散推测解码的单步起草轨迹一致性蒸馏

    DStill 框架通过蒸馏多步细化轨迹,将单步起草的接受长度提升最高 28%,推理速度提升最高 25%。 该方法利用课程学习策略,从部分掩码到完全掩码逐步训练,使模型在一次传递中完成最终补全。 相比自回归解码,DStill 实现了最高 6.45 倍加速,在三个模型族的推理、数学和代码基准测试中表现优异。

  11. AWS Machine Learning Blog57

    AWS 推出开源多智能体系统 Deep Insight 及其五种生产级挑战解决方案

    AWS 官方发布开源多智能体数据分析系统 Deep Insight,演示了五种生产级挑战的解决方案。架构基于 Strands Agents SDK 和 Amazon Bedrock,采用 Graph 与 Agents-as-Tools 模式分配专属模型,结合 Fargate 容器沙箱执行生成代码,并包含监控仪表盘与操作面板,提供本地、Web 及托管三种部署选项。

10月21日周三
  1. NVIDIA Blog67

    Google Cloud和NVIDIA宣布Vera Rubin基础设施通用可用

    Google Cloud和NVIDIA宣布NVIDIA Vera Rubin基础设施的实例将于下月通用可用,并计划扩展至欧洲。A5X实例整合了Vera Rubin NVL72、ConnectX-9 SuperNICs和第四代液冷技术,以支持大规模Agentic推理和强化学习工作负载。

    推荐理由:官方确认了A5X实例在Google Cloud的通用可用性及欧洲扩展计划,并展示了其支撑大规模强化学习的集成平台架构。

  2. Qoder35

    Qoder直播预告:数据库护栏如何放在执行路径上才生效

    Qoder将于10月22日16:30举办直播,由阿里云数据库高级技术专家为知分享数据库护栏的实际应用策略。直播将探讨为何写在提示词、Rules和Skill中的约束可能失效,并介绍四层护栏与“护栏四问”。 现场演示将展示同一条删除请求如何在执行前被拦截并留下记录,以证明护栏必须安装在执行路径上而非仅靠提示词。

  3. arXiv · AI28

    ACE-Compression:基于能力中心的大语言模型压缩评估框架

    研究提出ACE-Compression框架,评估六个开源LLM在量化与剪枝压缩下的能力保留情况。 该框架涵盖程序推理、知识接地、社交认知及人格一致性四个维度,发现量化通常优于剪枝,但结果依赖于具体应用所需能力。 该方法将模型压缩从单纯关注准确率下降转变为可解释的能力诊断过程,为部署者提供方法选择依据。

  4. AWS Machine Learning Blog60

    在Amazon SageMaker HyperPod上微调GPT-OSS-20B以实现多语言推理

    AWS展示了在Amazon SageMaker HyperPod上使用SFT和GRPO微调GPT-OSS-20B,使其推理和回答语言支持法语、德语、西班牙语和意大利语。基础模型多语言推理正确率仅为22%,SFT将推理语言正确率提升至100%,GRPO在SFT基础上将回答语言正确率从62%提升至70%。

    推荐理由:给出了GPT-OSS-20B微调后的多语言准确率变化,以及SFT和GRPO在不同能力缺口下的选择逻辑。

  5. AWS Machine Learning Blog43

    Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能

    Amazon Bedrock AgentCore 提供智能层,结合 Amazon Quick 实现无代码对话式供应链管理。 AgentCore 通过 MCP 协议连接企业系统,Agent 可自动规划调用链以查询中断影响并生成缓解建议。 该方案将数据分析时间从 45-60 分钟缩短至数分钟,且所有变更需经人工审批以确保安全。