跳到正文
10月22日周四
  1. arXiv · NLP33

    RCSD:基于强化学习与持续学习的领域特定推测解码框架

    RCSD 提出通过强化学习和持续学习优化推测解码中的草稿模型,将训练目标对齐于最大化系统级接受长度。 该框架利用推测推理中自然产生的接受/拒绝序列构建隐式偏好对,并采用掩码损失避免惩罚与目标模型对齐的 token,克服了传统软标签蒸馏在高熵区域导致接受率下降的问题。

  2. arXiv · ML24

    SeFoRA:解决异构客户端秩问题的草图聚合联邦低秩适配方法

    SeFoRA 是一种草图聚合联邦 LoRA 算法,解决客户端 LoRA 秩不同导致的维度不兼容及双线性失配问题。 每个客户端传输本地更新 $\Delta \mathbf{W}$ 的线性草图供联邦端直接聚合,理论证明收敛速率为 $\mathcal{O}(T^{-1/2})$。 该方法在语言与视觉模型实验中对现有技术表现出性能优势。

  3. arXiv · ML24

    大语言模型量化技术全面评估:MXFP4 与 NVFP4 格式的性能分析

    该研究通过统一基准评估大语言模型的低比特量化技术,发现旋转与缩放是最佳的预量化变换方法。 实验表明更细的粒度提升了性能但增加了存储,非对称量化对激活值的收益显著高于权重。 针对 MXFP4 和 NVFP4 格式,研究发现缩放因子精度影响显著,且基于旋转的变换在这两种格式下改进甚微。

  4. arXiv · AI28

    TrainBridge 实现 NPU 训练 1.7x 加速

    研究提出 TrainBridge 智能体方法,利用 GPU 编译栈生成的优化执行作为参考指导 NPU 训练程序重写,平均实现 1.7 倍加速。 该方法适用于 LLM 预训练、图像分类及视觉语言模型训练等负载,在 27 个 Modded-NanoGPT 速度竞赛记录中平均加速近 2.0 倍,通过迭代性能剖析持续优化 NPU 计算效率。

  5. arXiv · ML38

    研究人员提出 MOVAL 工具以无标签数据评估深度学习模型部署安全性

    针对深度学习在真实场景中因分布偏移导致的评估难题,研究人员提出 MOVAL 模型评估工具。该工具利用无标签测试数据估算模型性能,通过引入类别置信度校准缓解类别不平衡影响,并结合集成方法提升鲁棒性。在自然图像和医学图像数据集上验证后,MOVAL 在准确率、F1-Score、AUC 等指标上达到 SOTA 结果,支持在类别、实例和像素层级提供准确估算,确保机器学习模型的透明与安全部署。

  6. arXiv · ML41

    2:4 稀疏性在 LLM 推理中是否仍值得使用?半结构化稀疏与量化的对比分析

    当更低精度可用时,在相同比特数下添加 2:4 稀疏性比降低精度更差,因其导致精度更低且速度更慢。 当量化达到硬件最低精度时,2:4 稀疏性可使线性层加速 1.3–1.7 倍;在 H100 上,经重新训练的 2:4 模型以 FP8 通过 vLLM 服务时,prefill 吞吐量比密集 FP8 模型高 27%,GSM8K 准确率相当,但需重新训练恢复困惑度,且在 Blackwell 架构上损失更大。

  7. arXiv · ML26

    分离式 LLM 服务中 KV 缓存保留策略 KVLearn 框架

    KVLearn 框架通过前缀重用预测器(PRP)、成本感知保留分数(CARS)和自适应阈值控制器(ATC)优化分离式 LLM 服务中的 KV 缓存保留决策,显著降低首 token 时间。 在文本和多模态工作负载中,KVLearn 相比 No-Cache 降低端到端首 token 时间最高达 56%,相比 LRU-Pool 减少 38%,并将节点间 KV 传输量降低最高 53%。代码已开源。

  8. IT之家56

    马斯克透露 Optimus 机器人学校与 Terafab 芯片工厂计划

    特斯拉 CEO 马斯克在 Q3 财报电话会议上透露,计划为 Optimus 人形机器人建造一座"机器人学校"以保障 AI 训练,目标年产 100 万台,预计还需一年或更久;同时介绍 Terafab 芯片工厂项目,计划 2027 年启动设备调试,2028 年 Q2 开启早期量产,初期月产能 10 万片晶圆,后续扩至每月 100 万片。

  9. arXiv · ML28

    Specter:基于量化启发的多步推测式卸载加速 MoE 推理

    Specter 是一个结合量化与推测解码的 MoE 推理系统,专为解决专家卸载带来的 PCIe I/O 瓶颈而设计。在单请求推理场景下,该系统相比最先进系统实现了 1.50x(最高 1.88x)的平均 TPOT 加速。Specter 让受内存限制的单 GPU MoE 推理在普通硬件上更具实用性,代码已开源,论文被 ASPLOS 2027 接收。

  10. arXiv · ML34

    DStill:用于加速块扩散推测解码的单步起草轨迹一致性蒸馏

    DStill 框架通过蒸馏多步细化轨迹,将单步起草的接受长度提升最高 28%,推理速度提升最高 25%。 该方法利用课程学习策略,从部分掩码到完全掩码逐步训练,使模型在一次传递中完成最终补全。 相比自回归解码,DStill 实现了最高 6.45 倍加速,在三个模型族的推理、数学和代码基准测试中表现优异。

  11. AWS Machine Learning Blog57

    AWS 推出开源多智能体系统 Deep Insight 及其五种生产级挑战解决方案

    AWS 官方发布开源多智能体数据分析系统 Deep Insight,演示了五种生产级挑战的解决方案。架构基于 Strands Agents SDK 和 Amazon Bedrock,采用 Graph 与 Agents-as-Tools 模式分配专属模型,结合 Fargate 容器沙箱执行生成代码,并包含监控仪表盘与操作面板,提供本地、Web 及托管三种部署选项。

  12. The Verge · AI55

    德州数据中心扩张或抹去数十年空气质量改善成果

    HARC 新报告称,若德州所有规划中的数据中心全部接入电网,五年内烟尘和雾霾前体物污染将激增至 2000 年代水平,颗粒物排放或超 2006 年 3 倍,NOx 排放或超 2004 年 136%。德州现有及在建数据中心容量达 26 吉瓦,全国领先;若开发者选择现场燃气轮机而非可再生能源,污染水平将最高。

  13. Hacker News AI83

    LLM-D 1.0 开源框架升级,优化 Kubernetes AI 推理性能与成本

    LLM-D 1.0 版本发布,该开源 Kubernetes AI 推理框架新增多租户服务质量、高可用操作、稳定 v1 API 及 Agent 感知服务四项特性。实测显示,在混合 TPU 与 GPU 集群中,结合 vLLM 和 SGLang 可显著提升吞吐量并降低成本,多家企业已在生产环境中部署使用。

    推荐理由:文章补充了1.0版新增的四项生产级特性,并给出性能提升的实测对比,读者可据此判断其在推理部署中的落地价值。

  14. Hacker News AI76

    2026 年 AI 可移植性现状:打破锁定难以实现

    2026 年 AI 工具的上下文可移植性依然复杂,虽然 AGENTS.md 和 MCP 配置易于迁移,但底层记忆与对话历史因缺乏统一标准难以跨平台同步。文中指出 Claude Code、Codex 等工具虽具备部分导入能力,但主要厂商仍限制数据流出,开源工具正在填补这一缺口。

    推荐理由:原文构建了上下文分层模型并盘点开源工具现状,读者可据此评估将项目从单一 AI 厂商迁移至多工具或本地环境的实际阻力。

  15. 机器之心87

    DeepSeek 开源推理框架 DeepInfer,AI 服务毛利率达 82%

    DeepSeek 开源内部推理框架 DeepInfer 及 token 编解码组件 deepseek-recipe,以 Apache 2.0 许可证发布。该框架支持 DeepSeek-V4.1-Flash,单集群日吞吐量达 155 万亿 token,每卡每小时收入 38 美元,推算毛利率为 82%。

    同一新闻,精选展示《DeepSeek 开源内部推理框架 DeepInfer 及编解码组件》

10月21日周三
  1. Hacker News AI49

    NVIDIA 发布 DSX POD 模块化 AI 数据中心参考设计

    NVIDIA 推出 DSX POD 参考设计,将 AI 工厂组件集成移至工厂环境,支持 Vera Rubin 平台。 该设计标准化集装箱集成计算、网络与液冷,通过出厂前完整验证减少现场安装复杂度,加速部署周期。 NVIDIA 将集成范围从芯片、机架扩展至完整 AI 工厂,提升大规模部署的可靠性与可预测性。

  2. Hacker News AI31

    Requ 开源图表语言:将文本转化为 AI Agent 泳道工作流

    Requ 是开源图表语言,支持将纯文本工作流转化为泳道图,涵盖团队、客户旅程及 AI Agent 的交接流程。 提供 CLI 和浏览器包,同一源码适用于 playground、命令行及嵌入式场景,支持导出 Source。 示例包括银行账户开户、员工入职等场景,用户可在线查看图表及源代码,无需 JavaScript 即可浏览。 ```