跳到正文
10月30日周五
  1. arXiv · ML28

    Delta-Matching 弥合大语言模型原生 8 位训练的最后一道鸿沟

    提出 Delta-Matching 方法,解决 FP8 注意力前反向不一致导致的陈旧梯度问题,使 LLM 原生 8 位训练匹配 BF16/FP32 精度。 证明该方法恢复 softmax 梯度零行和不变量,无需架构修改或更小全局批次即可在块缩放 FP8 下运行。 在 1.67B 和 5.29B 模型上验证性能,消除下游任务性能退化,并计划开源实现、模型及数据配方。

  2. arXiv · ML24

    MiCoPro:基于硬件感知代理模型的端到端混合精度软硬件协同设计

    MiCoPro 框架引入硬件感知代理模型(HAP),实现从 PyTorch 模型到裸机 C 代码的快速探索与直接部署。 在 BitFusion 加速器和 SIMD 扩展 RISC-V 处理器上验证,该框架实现了高达 40% 的延迟降低,同时精度损失控制在 3% 以内。 该框架解决了现有混合精度量化(MPQ)方案灵活性不足及缺乏端到端部署工具的问题。

  3. arXiv · ML23

    Fed-IGTD:基于联邦学习的表格转图像编码框架

    提出联邦学习框架 Fed-IGTD,通过共享特征空间与本地统计实现隐私保护下的表格转图像编码,避免中心化数据泄露风险。 采用 FedAvg 更新全局模型,引入两种差分隐私机制保护相关性聚合与训练过程;在 5 个数据集上评估显示,映射构建阶段的隐私保护对预测性能影响微小,但中等隐私预算下 DP-FedAvg 显著降低效用。

  4. arXiv · ML45

    CACPU:面向 CPU 因果注意力的高性能调度内核

    CACPU 是一款支持因果全序列预填充的高性能 CPU 注意力内核,通过分层缓存阻塞和内核内任务分发实现高效调度。 CACPU 较 PyTorch SDPA、FlexAttention 和 SGLang 内核实现最高 2.01 倍加速。 集成至 SGLang 后,Llama-3.1-8B 的 TTFT 最多降低 1.74 倍,且保持模型精度不变。

  5. arXiv · AI20

    LLM 解码阶段能耗特征研究:跨注意力架构的相位感知分析

    研究揭示 LLM 服务中功率限制对主导的自回归解码阶段几乎无效,解码耗时远低于 H200 GPU 700W 额定的 50%。 在 vLLM 环境中测试 GQA、MLA、Gated DeltaNet 和 Mamba2 四种架构,锁频策略可在几乎不损失吞吐量的前提下回收 32% 解码能耗。 该成果已被 PPAM 2026 会议接收,为优化 LLM 服务能效提供了新的架构指导。

  6. arXiv · AI20

    使用 LSTM-beta-VAE 生成式数据增强的多输出 LSTM 软传感器用于工业厌氧协同消化

    该研究提出结合 LSTM-beta-VAE 生成式数据增强框架与多输出 LSTM (MO-LSTM) 软传感器,用于解决工业厌氧消化中数据稀疏问题。 基于一年全规模工厂数据合成物理有效的不稳定过渡序列,MO-LSTM 实现了对稳定性指标的稳健同步估计,弥补了随机森林和标准 LSTM 的不足。 该方法为混合机理-数据驱动建模及工业生物过程早期预警软传感器提供了基础。

  7. arXiv · AI23

    LLM 预填充与解码阶段计算时间与能耗预测研究

    针对 LLM 智能体工作流中大量输入上下文的能耗估算难题,研究通过广义线性模型系统剖析了不同 token 长度下的性能。结果显示解码阶段计算时间与输出长度呈线性扩展,而预填充阶段则随输入长度呈现线性及二次扩展特征。该框架确立了计算时间作为能耗可靠代理指标的有效性,并支持更可持续的 AI 部署决策。

  8. arXiv · NLP28

    单GPU 70B LLM推理预算感知压缩管道:方法、权衡与耦合效应

    研究提出单GPU LLM推理预算感知设计框架,验证了70B模型在单张A40 GPU上的压缩部署。 通过分层剪枝增强权重量化鲁棒性,结合KV缓存稀疏化与INT8量化,将模型压缩至33 GB,10k token提示词下持续输出约57 tokens/s。 精度在常见及推理基准测试中保持绝对误差5%以内,为单GPU约束下的自动管道搜索提供基础。

  9. arXiv · NLP21

    FAD-KV:面向高效推理解码的自适应字典 KV 缓存

    FAD-KV 提出了一种快速自适应字典 KV 缓存框架,旨在通过解决现有方法的解码开销与静态字典失配问题,提升长输出推理效率。 该框架结合基于筛查的稀疏编码(Top-n 选择与系数细化)和固定大小的字典适应机制,通过复用非活跃原子来避免字典无限增长。 在推理和长上下文基准测试中,该方法实现了质量与效率的平衡,确保了内存有界且计算高效。

  10. arXiv · NLP20

    MDraft 通过多草稿策略提升扩散生成器在推测解码中的接受长度

    MDraft 提出一种新的并行生成器蒸馏方法,通过从相同上下文采样多个草稿块并聚合验证器的全词表条件分布,解决了并行生成导致的验证反馈不匹配问题。 该方法仅改变训练过程,保持生成器架构和推理流程不变,可直接替换预检查点使用。 在数学、编码和对话任务上,MDraft 训练的并行生成器比先前蒸馏方法实现了更长的接受草稿长度,提高了推理效率。

  11. OpenClaw Releases30

    OpenClaw 2026.9.36 发布

    OpenClaw 2026.9.36 发布,为网关扩展稳定版,整合 2026 年 9 月底版本、关键安全更新、可靠性与性能修复及新模型支持。 更新涵盖 28 个 PR,重点修复 npm 回滚可恢复性、微软 Teams 允许列表解析漏洞及 xAI 模型推理配置兼容性。 该版本作为当前 LTS 等价物,通过 Docker 镜像信任修复与架构构建优化提升部署可靠性。

  12. AWS Machine Learning Blog35

    Epsilon 如何利用 Amazon Nova Act 构建意图驱动的 UI 测试平台

    Epsilon 采用 Amazon Nova Act 与 Amazon Bedrock AgentCore Browser 构建意图驱动的 UI 测试服务,支持自然语言指令测试。 该方案通过 CDP WebSocket 协议执行步骤,结合 S3 存储截图及结果,解决了多团队浏览器基础设施维护难题。 作为托管平台服务,该架构允许各产品团队通过统一 API 复用测试能力,降低了接入配置负担。

10月29日周四
  1. AWS Machine Learning Blog70

    AWS 教程:基于 Amazon Bedrock AgentCore 构建企业级智能体 AI 平台

    AWS 发布架构方案,展示如何在 Amazon Bedrock 和 Amazon Bedrock AgentCore 上构建多账户智能体 AI 平台。方案通过独立的推理与工具网关及严格的部署评测管道,让各业务团队能在隔离的边界内安全开发并运维 Agent,实现规模化企业级治理。

    推荐理由:原文给出了多账户运营模型和评测管道设计,读者可据此理解如何治理企业级 AI 智能体平台。

10月28日周三
  1. arXiv · ML28

    WebGPU 在 LLM 推理中的调度开销:跨四家 GPU 厂商、三种后端及三种浏览器的系统研究

    该研究系统分析了 WebGPU 在 LLM 推理中(batch size 1)的调度开销,指出传统基准测试高估了单次操作成本约 20 倍。 在 Vulkan 上内核融合可提升 53% 吞吐量,而 CUDA 融合无益;在 Metal 上不同实现间的性能差距达 2.2 倍。该研究证实了当前调度密集型流水线中,操作开销主导了性能表现,而非内核质量。

  2. arXiv · ML29

    PORTAL 测试时自适应干预控制器:何时及如何部署

    研究提出 PORTAL 控制器,用于决定测试时自适应干预(如更新归一化统计)的部署时机与标签查询策略。 PORTAL 通过固定候选预测规则并结合共享标签比较,将查询导向可能超越当前领先者的候选,在剩余标签无法改变选择或精度增益不足时停止。 该方法将整体降低精度的干预转变为在特定批次上有效的选择,防止到达顺序变化导致的严重失败,并通过获取的标签训练更强的未来候选模型。

  3. arXiv · ML33

    TALOR:用于开集测试时自适应的即插即用纠偏模块

    TALOR 是一种轻量级、无反向传播的纠偏模块,用于开集测试时自适应,以源线性头为几何锚点。 该模块将特征分解为主坐标和尾坐标,利用加权岭回归在主要子空间中估计软路由仿射校正,并减去漂移估计。 在 ImageNet-C 基准上,TALOR 比 UniEnt 高出 2.2% H-score,运行速度快 2.5 倍,且仅使用其 12% 的 GPU 内存。