RCSD:基于强化学习与持续学习的领域特定推测解码框架
RCSD 提出通过强化学习和持续学习优化推测解码中的草稿模型,将训练目标对齐于最大化系统级接受长度。 该框架利用推测推理中自然产生的接受/拒绝序列构建隐式偏好对,并采用掩码损失避免惩罚与目标模型对齐的 token,克服了传统软标签蒸馏在高熵区域导致接受率下降的问题。
RCSD 提出通过强化学习和持续学习优化推测解码中的草稿模型,将训练目标对齐于最大化系统级接受长度。 该框架利用推测推理中自然产生的接受/拒绝序列构建隐式偏好对,并采用掩码损失避免惩罚与目标模型对齐的 token,克服了传统软标签蒸馏在高熵区域导致接受率下降的问题。
开源工具 Dooly 实现了配置无关的 LLM 推理仿真剖析,在 12 个模型上将剖析 GPU 时数降低 56.4%。 它通过单次推理路径和污点传播标记维度来源,仅剖析缺失操作,利用现有仿真器初始化代码隔离状态操作。仿真精度上,TTFT 的 MAPE 在 5% 以内,TPOT 在 8% 以内。
SeFoRA 是一种草图聚合联邦 LoRA 算法,解决客户端 LoRA 秩不同导致的维度不兼容及双线性失配问题。 每个客户端传输本地更新 $\Delta \mathbf{W}$ 的线性草图供联邦端直接聚合,理论证明收敛速率为 $\mathcal{O}(T^{-1/2})$。 该方法在语言与视觉模型实验中对现有技术表现出性能优势。
提出轻量级自回归适配器Weaver,通过构建提案树恢复条件依赖,实现4.08倍加速。 针对Gated Delta Net层优化CUDA内核,较DFlash基线性能提升16.3%。
该研究通过统一基准评估大语言模型的低比特量化技术,发现旋转与缩放是最佳的预量化变换方法。 实验表明更细的粒度提升了性能但增加了存储,非对称量化对激活值的收益显著高于权重。 针对 MXFP4 和 NVFP4 格式,研究发现缩放因子精度影响显著,且基于旋转的变换在这两种格式下改进甚微。
研究提出 TrainBridge 智能体方法,利用 GPU 编译栈生成的优化执行作为参考指导 NPU 训练程序重写,平均实现 1.7 倍加速。 该方法适用于 LLM 预训练、图像分类及视觉语言模型训练等负载,在 27 个 Modded-NanoGPT 速度竞赛记录中平均加速近 2.0 倍,通过迭代性能剖析持续优化 NPU 计算效率。
作者利用冻结骨干加 rank-16 LoRA 适配器,通过单前向传播回答三个类型化问题,将 1,000 个会话的裁判成本降至前沿 LLM 的 1%(约 $0.06)。 在 JevBench 111 个难题上,35B 模型得分 79.3%,显著优于五个开放系统,且无需额外参数即可读取冻结输出层。
针对深度学习在真实场景中因分布偏移导致的评估难题,研究人员提出 MOVAL 模型评估工具。该工具利用无标签测试数据估算模型性能,通过引入类别置信度校准缓解类别不平衡影响,并结合集成方法提升鲁棒性。在自然图像和医学图像数据集上验证后,MOVAL 在准确率、F1-Score、AUC 等指标上达到 SOTA 结果,支持在类别、实例和像素层级提供准确估算,确保机器学习模型的透明与安全部署。
summary_zh: FlashNext-RL 框架在单台 8xB200 节点上实现 Qwen3.8-Flash-Next 全模型 BF16 训练,优化 131K 上下文下吞吐量至 4,438 tokens/s/GPU。
当更低精度可用时,在相同比特数下添加 2:4 稀疏性比降低精度更差,因其导致精度更低且速度更慢。 当量化达到硬件最低精度时,2:4 稀疏性可使线性层加速 1.3–1.7 倍;在 H100 上,经重新训练的 2:4 模型以 FP8 通过 vLLM 服务时,prefill 吞吐量比密集 FP8 模型高 27%,GSM8K 准确率相当,但需重新训练恢复困惑度,且在 Blackwell 架构上损失更大。
LEAN 通过复合正则项将敏感权重尾部缩小 5-13 倍,使 ResNet-50 等模型在准确率损失<0.5% 下提升抗比特翻转能力。 结合 BCH 编码覆盖 1% 权重,该方案使模型在 300 次渐进式比特翻转中全种子存活,且 8/6/4/3 位格式存储体积较 INT8 小 2.4 倍。
KVLearn 框架通过前缀重用预测器(PRP)、成本感知保留分数(CARS)和自适应阈值控制器(ATC)优化分离式 LLM 服务中的 KV 缓存保留决策,显著降低首 token 时间。 在文本和多模态工作负载中,KVLearn 相比 No-Cache 降低端到端首 token 时间最高达 56%,相比 LRU-Pool 减少 38%,并将节点间 KV 传输量降低最高 53%。代码已开源。
特朗普要求数据中心及 AI 云厂商向社区支付收益分红,以应对能源涨价并争取项目落地。 他主张企业须自行发电并将多余电力输送给社区,分红形式或为补贴上涨电费。 此举旨在换取社区接纳,但耗水、生态破坏等难题仍使项目难获民众认可。
特斯拉 CEO 马斯克在 Q3 财报电话会议上透露,计划为 Optimus 人形机器人建造一座"机器人学校"以保障 AI 训练,目标年产 100 万台,预计还需一年或更久;同时介绍 Terafab 芯片工厂项目,计划 2027 年启动设备调试,2028 年 Q2 开启早期量产,初期月产能 10 万片晶圆,后续扩至每月 100 万片。
Lumen 桌面应用允许用户通过 Ctrl+Space 快捷键直接解析屏幕内容,无需切换窗口。 Pro 版本 ($20/月) 搭载 GPT-6 Luna 模型,提供 100 次/天的请求上限及 Stealth Mode 隐私保护。 该软件支持 Windows 10/11 及 macOS,能自动从录屏软件中隐藏界面以保护隐私。
针对 LLM 智能体 KV 缓存成本痛点,提出 Cache Engineering 方案,支持直接控制缓存而不修改轨迹。 通过 drop 排除缓存并配合 AKV 引擎优化复用,基准测试平均分提升 1.7 分,成本降低 27.7%。 P95 延迟加速 1.5 倍,自改进策略额外降低 7.1% 成本。
CERTA 证明量化模型可替代 BF16 参考模型处理临床验证,8-bit 量化准确率达 99.8%-100%。 4-bit 量化使 Qwen2.5-72B 部署成本降至 BF16 的 25.8%,峰值内存 43.0 GB。 外部基准 F1 变化均值 0.045,该策略将压缩转化为风险可控部署。
Specter 是一个结合量化与推测解码的 MoE 推理系统,专为解决专家卸载带来的 PCIe I/O 瓶颈而设计。在单请求推理场景下,该系统相比最先进系统实现了 1.50x(最高 1.88x)的平均 TPOT 加速。Specter 让受内存限制的单 GPU MoE 推理在普通硬件上更具实用性,代码已开源,论文被 ASPLOS 2027 接收。
DStill 框架通过蒸馏多步细化轨迹,将单步起草的接受长度提升最高 28%,推理速度提升最高 25%。 该方法利用课程学习策略,从部分掩码到完全掩码逐步训练,使模型在一次传递中完成最终补全。 相比自回归解码,DStill 实现了最高 6.45 倍加速,在三个模型族的推理、数学和代码基准测试中表现优异。
Token-Energy Law 模型将 GPU 能耗拆解为活跃字节与 realized decode time 两个维度,解释了批处理、KV 缓存对能耗的影响。 该公式在 NVIDIA Hopper 和 Blackwell GPU 上通过三个模型的 BF16 解码实验验证,预测值与实测均值误差最大仅为 3.73%。
Databricks 宣布 AI Runtime (AIR) 正式可用,提供全托管 GPU 基础设施,允许客户在企业数据所在的 Lakehouse 内直接训练模型。
AWS 官方发布开源多智能体数据分析系统 Deep Insight,演示了五种生产级挑战的解决方案。架构基于 Strands Agents SDK 和 Amazon Bedrock,采用 Graph 与 Agents-as-Tools 模式分配专属模型,结合 Fargate 容器沙箱执行生成代码,并包含监控仪表盘与操作面板,提供本地、Web 及托管三种部署选项。
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
声明式基础设施即代码仅回答部署时的静态问题,现代分布式系统需要转向闭环、受治理的自治平台。 Agentic DevOps 旨在通过智能体构建超越静态管线的云系统架构。
HARC 新报告称,若德州所有规划中的数据中心全部接入电网,五年内烟尘和雾霾前体物污染将激增至 2000 年代水平,颗粒物排放或超 2006 年 3 倍,NOx 排放或超 2004 年 136%。德州现有及在建数据中心容量达 26 吉瓦,全国领先;若开发者选择现场燃气轮机而非可再生能源,污染水平将最高。
LLM-D 1.0 版本发布,该开源 Kubernetes AI 推理框架新增多租户服务质量、高可用操作、稳定 v1 API 及 Agent 感知服务四项特性。实测显示,在混合 TPU 与 GPU 集群中,结合 vLLM 和 SGLang 可显著提升吞吐量并降低成本,多家企业已在生产环境中部署使用。
推荐理由:文章补充了1.0版新增的四项生产级特性,并给出性能提升的实测对比,读者可据此判断其在推理部署中的落地价值。
2026 年 AI 工具的上下文可移植性依然复杂,虽然 AGENTS.md 和 MCP 配置易于迁移,但底层记忆与对话历史因缺乏统一标准难以跨平台同步。文中指出 Claude Code、Codex 等工具虽具备部分导入能力,但主要厂商仍限制数据流出,开源工具正在填补这一缺口。
推荐理由:原文构建了上下文分层模型并盘点开源工具现状,读者可据此评估将项目从单一 AI 厂商迁移至多工具或本地环境的实际阻力。
DeepSeek 开源内部推理框架 DeepInfer 及 token 编解码组件 deepseek-recipe,以 Apache 2.0 许可证发布。该框架支持 DeepSeek-V4.1-Flash,单集群日吞吐量达 155 万亿 token,每卡每小时收入 38 美元,推算毛利率为 82%。
同一新闻,精选展示《DeepSeek 开源内部推理框架 DeepInfer 及编解码组件》
llama.cpp 合并的 PR #29887 利用专家路由的局部性原理,在 VRAM 中构建 LRU 专家缓存,解决 MoE 模型本地推理的瓶颈。该方案使 94GB 的 Qwen3.8-Flash-Next 模型在单张 RTX 5090 上以 67.8 tok/s 的速度运行,相比无缓存状态提升 2.2 倍,命中率达 89%。
Hugging Face 发布 TorchNeuron 性能分析教程,指导用户在 AWS Trainium 上系统性分析推理性能瓶颈。 教程覆盖 Neuron 作为 PyTorch 后端原理,演示通过 NeuronConfig 和 torch.profiler 捕获 trace,并利用 Neuron Explorer 查看硬件执行细节。
Hugging Face 发布 TorchNeuron 性能分析教程,指导用户在 AWS Trainium 上系统性分析推理性能瓶颈。 教程覆盖 Neuron 作为 PyTorch 后端原理,演示通过 NeuronConfig 和 torch.profiler 捕获 trace,并利用 Neuron Explorer 查看硬件执行细节。
作者在一周内利用静态分析和分层验证删除了编译器中约 1.9 万行废弃代码,且无回滚。该方法通过静态分析划定范围,将节点分类为机械删除、跨属权、副作用和手术四类,并由 LLM 辅助分类与执行。最终编译器二进制大小减少 50MB 以上,仅人工审查了 12% 的删除行。
CTGT启用Qwen3.8-27B的确定性推理后,测试请求完全一致,但同一银行政策手册的四次运行产生了不同的义务集合。调查发现管道将不可排序的资产ID写入提示词导致输入不稳定,团队通过稳定别名和排序修复了问题。作者开源了用于定位此类问题的Concordance工具。
summary_zh: AI代码测试基础设施初创公司Blacksmith完成由Sequoia Capital领投的6600万美元C轮融资,估值达10亿美元。 公司总融资额约1.245亿美元,服务客户超1万家,周验证检查量从年初的500万次激增至9000万次,年化经常性收入增长17倍。
NVIDIA 推出 DSX POD 参考设计,将 AI 工厂组件集成移至工厂环境,支持 Vera Rubin 平台。 该设计标准化集装箱集成计算、网络与液冷,通过出厂前完整验证减少现场安装复杂度,加速部署周期。 NVIDIA 将集成范围从芯片、机架扩展至完整 AI 工厂,提升大规模部署的可靠性与可预测性。
OpenAI 构建了 ChatGPT 的 LLM 驱动广告技术栈,旨在理解对话意图并大规模投放相关广告。 该架构确保广告与回答严格分离,以支持用户信任与相关性目标。
Requ 是开源图表语言,支持将纯文本工作流转化为泳道图,涵盖团队、客户旅程及 AI Agent 的交接流程。 提供 CLI 和浏览器包,同一源码适用于 playground、命令行及嵌入式场景,支持导出 Source。 示例包括银行账户开户、员工入职等场景,用户可在线查看图表及源代码,无需 JavaScript 即可浏览。 ```
黄仁勋在德国柏林 GTC 大会上宣布推出模块化 AI 工厂参考设计 DSX POD,面向以 Vera Rubin 平台为核心的完整 AI 工厂系统,计划 2027 年初通过合作伙伴在全球交付。
Elektric 提供 Benchmark 与 Routing 功能,支持跨 150+ 模型对比 AI 请求,以平衡质量与成本。 用户可通过 Elektric Grid 自动选择最佳模型,节省高达 40% 的 AI 成本;或借助 Elektric Wire 手动指定模型,如 openai/gpt-5.6-sol,两款产品可独立使用。
Nvidia 在 GTC Berlin 发布了 DSX POD,这是一种围绕 Vera Rubin 系统构建的模块化数据中心参考设计。Dell、HPE、Lenovo 等合作伙伴在工厂完成容器内的计算机、网络、电源和液冷系统的安装与测试,现场仅需连接电力、冷却和网络基础设施。