FlashDiff:提升扩散模型服务的自适应区域执行与调度系统
扩散模型服务系统 FlashDiff 提出自适应区域执行与调度,降低推理延迟。 该系统将潜变量分解为区域,通过轻量控制器跳过低影响更新,并利用亲和性感知调度器平衡负载。 在图像、视频和音频任务中,其端到端延迟降低 30-97%,吞吐量提升 1.2-2.2 倍。
扩散模型服务系统 FlashDiff 提出自适应区域执行与调度,降低推理延迟。 该系统将潜变量分解为区域,通过轻量控制器跳过低影响更新,并利用亲和性感知调度器平衡负载。 在图像、视频和音频任务中,其端到端延迟降低 30-97%,吞吐量提升 1.2-2.2 倍。
提出 Delta-Matching 方法,解决 FP8 注意力前反向不一致导致的陈旧梯度问题,使 LLM 原生 8 位训练匹配 BF16/FP32 精度。 证明该方法恢复 softmax 梯度零行和不变量,无需架构修改或更小全局批次即可在块缩放 FP8 下运行。 在 1.67B 和 5.29B 模型上验证性能,消除下游任务性能退化,并计划开源实现、模型及数据配方。
MiCoPro 框架引入硬件感知代理模型(HAP),实现从 PyTorch 模型到裸机 C 代码的快速探索与直接部署。 在 BitFusion 加速器和 SIMD 扩展 RISC-V 处理器上验证,该框架实现了高达 40% 的延迟降低,同时精度损失控制在 3% 以内。 该框架解决了现有混合精度量化(MPQ)方案灵活性不足及缺乏端到端部署工具的问题。
Rimuru 提出一种现代 LLM 服务系统,通过弹性专家卸载统一异构张量的内存管理。 其核心机制包括共享页面池、内存视图、多级页面分配器以及页面表感知融合 MoE 内核,实现跨类型容量复用。 基于 vLLM 实现,评估显示其吞吐量最高提升 19.03 倍,TTFT 平均降低 98.1%。
Google Cloud Dataflow 推出针对 LLM 混合流处理负载的系统,通过异构工作池自动扩展和前缀感知批处理,将吞吐量提升 1.5 至 2 倍。 该系统在保持类似延迟的同时,实现高达 75% 的峰值资源节省,并将峰值尾部延迟降低 84%。
提出联邦学习框架 Fed-IGTD,通过共享特征空间与本地统计实现隐私保护下的表格转图像编码,避免中心化数据泄露风险。 采用 FedAvg 更新全局模型,引入两种差分隐私机制保护相关性聚合与训练过程;在 5 个数据集上评估显示,映射构建阶段的隐私保护对预测性能影响微小,但中等隐私预算下 DP-FedAvg 显著降低效用。
CACPU 是一款支持因果全序列预填充的高性能 CPU 注意力内核,通过分层缓存阻塞和内核内任务分发实现高效调度。 CACPU 较 PyTorch SDPA、FlexAttention 和 SGLang 内核实现最高 2.01 倍加速。 集成至 SGLang 后,Llama-3.1-8B 的 TTFT 最多降低 1.74 倍,且保持模型精度不变。
论文提出免训练KV选择方法Focused Forcing,在多个自回归生成范式下实现最高1.48倍端到端加速,同时提升视觉质量与文本对齐效果。 该方法通过结合注意力分数与历史帧多样性分数进行内容感知逐帧选择,并依据估算的头部重要性分配预算。
研究揭示 LLM 服务中功率限制对主导的自回归解码阶段几乎无效,解码耗时远低于 H200 GPU 700W 额定的 50%。 在 vLLM 环境中测试 GQA、MLA、Gated DeltaNet 和 Mamba2 四种架构,锁频策略可在几乎不损失吞吐量的前提下回收 32% 解码能耗。 该成果已被 PPAM 2026 会议接收,为优化 LLM 服务能效提供了新的架构指导。
RPS-Serve 是一种模态感知调度框架,通过“岩石-鹅卵石-沙子”抽象解决多模态推理中的异构干扰。 该系统利用轻量级聚类将请求分类,并采用基于老化技术的优先级调度,相比分解式系统在平均性能上提高 GPU 利用率 65%,降低 TTFT 高达 9.3 倍。
在 PhysioNet 2012 和 MIMIC-IV 数据集测试中,该方法显著提升各项指标,其中神经系统功能障碍的 PR-AUC 从 0.461 提升至 0.557。 源代码将在论文被正式接收后公开发布。
提出基于 Fisher 近似 Hessian 指导的后训练量化框架,联合优化量化范围、线性变换及权重舍入。 该方法在通道级和块级量化设置下均优于现有最先进转换与舍入方法,适用于现代大语言模型。 该框架通过输出敏感性目标解决量化操作不连续带来的优化挑战。
研究在 H100 和 H200 GPU 上实测推测解码能耗,发现密集模型中验证而非起草主导能量成本。 随着批处理量增大,推测解码的能耗优势缩小;高批处理下低接受率甚至导致能耗增加,仅在高接受率时才能兼顾延迟与能效。
该研究提出结合 LSTM-beta-VAE 生成式数据增强框架与多输出 LSTM (MO-LSTM) 软传感器,用于解决工业厌氧消化中数据稀疏问题。 基于一年全规模工厂数据合成物理有效的不稳定过渡序列,MO-LSTM 实现了对稳定性指标的稳健同步估计,弥补了随机森林和标准 LSTM 的不足。 该方法为混合机理-数据驱动建模及工业生物过程早期预警软传感器提供了基础。
OPERA 推理智能体利用开源工具,自主完成 CMOS 运放从设计规格到版图签核的全流程。 该智能体基于 gm/ID 方法生成电路,并编写可复用的版图生成器以通过 DRC 和 LVS 检查。 在 SKY130 工艺下,设计的六款运放版图均满足提取网表在 15 个 PVT 角下的性能指标。
Formulaic 框架通过语言模型智能体优化 AI 基础设施的软硬件协同设计。在 NVIDIA GB10 上,智能体编写的模板使 Qwen3-8B 层运行速度较 SGLang 提升 1.075 倍。 模拟 Ventus GPU 研究显示,联合设计将 Qwen2.5-0.5B 的最坏情况周期降至参考值的 0.428 倍。
TableTune 通过计时解码步骤计算并动态自校正 vLLM 的草稿长度表,以最大化吞吐量。在 H100 上使用 EAGLE-3 drafter,其最坏情况损失率为 3%,优于 TurboSpec 和 Nightjar 的 9% 和 12%。 从初始错误配置开始,该控制器最多可将吞吐量提升 58%,在 Qwen3-32B 部署中比固定草稿长度快 32%。
针对前沿 LLM 在稀缺 NPU 上准确率崩溃的问题,该研究在 FuriosaAI RNGD NPU 上运行 LLM 多智能体循环,12 天内优化 3 个 Gemma-4-12B 解码内核。
针对 LLM 智能体工作流中大量输入上下文的能耗估算难题,研究通过广义线性模型系统剖析了不同 token 长度下的性能。结果显示解码阶段计算时间与输出长度呈线性扩展,而预填充阶段则随输入长度呈现线性及二次扩展特征。该框架确立了计算时间作为能耗可靠代理指标的有效性,并支持更可持续的 AI 部署决策。
LRMoE 提出内存感知的 MoE 训练系统,通过联合校准反向需求与平衡保留工作负载,在内存受限节点上实现高效训练。 在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 模型上实验表明,该方案使累积 MoE 层达到固定损失目标的训练时间较 SYMI 减少 21.2%-44.8%。
提出基于艺术强化训练(ART)的方法,通过优化单一辅助输入图像使冻结的多模态大语言模型(MLLM)适配特定任务,推理时仅需在提示词中包含该图像,无需修改服务引擎。
BrainSurgery 提出一种声明式 YAML 方案,统一管理模型合并、精度转换和矩阵分解等权重编辑操作,内置验证、比对和分片导出功能,并提供 Web 界面支持交互式检查与计划构建。
研究提出单GPU LLM推理预算感知设计框架,验证了70B模型在单张A40 GPU上的压缩部署。 通过分层剪枝增强权重量化鲁棒性,结合KV缓存稀疏化与INT8量化,将模型压缩至33 GB,10k token提示词下持续输出约57 tokens/s。 精度在常见及推理基准测试中保持绝对误差5%以内,为单GPU约束下的自动管道搜索提供基础。
研究指出当前预填充解码长度预测基准混淆了预测器质量与任务难度,当目标模型、数据集或采样配置改变时,预测器准确度会崩溃。分析将解码视为停止随机过程,推导出每提示词正态性误差项及仿射方差定律 $\sigma=\alpha\mu+b$。
Raincheck 提出延迟多模态预填充框架,在生成期间利用空闲算力预填充被剪枝 token,解决长多模态输入导致的 TTFT 增加问题。该框架结合注意力可见性控制与仿射状态映射,使 Qwen3-VL-8B 和 Qwen3.5-9B 在多轮对话中恢复平均 77.7% 的 MultiVerse 任务质量,且首轮 TTFT 降低 24.1%。
FAD-KV 提出了一种快速自适应字典 KV 缓存框架,旨在通过解决现有方法的解码开销与静态字典失配问题,提升长输出推理效率。 该框架结合基于筛查的稀疏编码(Top-n 选择与系数细化)和固定大小的字典适应机制,通过复用非活跃原子来避免字典无限增长。 在推理和长上下文基准测试中,该方法实现了质量与效率的平衡,确保了内存有界且计算高效。
MDraft 提出一种新的并行生成器蒸馏方法,通过从相同上下文采样多个草稿块并聚合验证器的全词表条件分布,解决了并行生成导致的验证反馈不匹配问题。 该方法仅改变训练过程,保持生成器架构和推理流程不变,可直接替换预检查点使用。 在数学、编码和对话任务上,MDraft 训练的并行生成器比先前蒸馏方法实现了更长的接受草稿长度,提高了推理效率。
OpenClaw 2026.9.36 发布,为网关扩展稳定版,整合 2026 年 9 月底版本、关键安全更新、可靠性与性能修复及新模型支持。 更新涵盖 28 个 PR,重点修复 npm 回滚可恢复性、微软 Teams 允许列表解析漏洞及 xAI 模型推理配置兼容性。 该版本作为当前 LTS 等价物,通过 Docker 镜像信任修复与架构构建优化提升部署可靠性。
Epsilon 采用 Amazon Nova Act 与 Amazon Bedrock AgentCore Browser 构建意图驱动的 UI 测试服务,支持自然语言指令测试。 该方案通过 CDP WebSocket 协议执行步骤,结合 S3 存储截图及结果,解决了多团队浏览器基础设施维护难题。 作为托管平台服务,该架构允许各产品团队通过统一 API 复用测试能力,降低了接入配置负担。
AWS Batch 推出配额管理,支持在 SageMaker 训练任务中跨团队共享 GPU 资源。 管理员可将算力划分为配额份额,配置 LEND 或 LEND_AND_BORROW 策略,自动借出闲置容量。 内置跨份额抢占机制可回收借出资源,结合优先级抢占提升高优任务调度效率。
NVIDIA Nemotron 3.5 Super VL 已在 AWS 上线,该 120B 参数的多模态 MoE 模型支持文本、图像、文档和视频理解,并融合了推理与工具使用能力。
面壁智能 ForgeKernel 在直播中基于 DeepSeek-V4.1 真实负载生成算子,正面挑战官方开源的 FlashMLA Prefill。该算子驱动 DeepSeek-V4.1 旗舰模型,代表手写算子顶尖水准。活动将于 10 月 29 日上午 10:00 在直播间进行。
QA Studio 引入应用实体、健康指标视图及基于团队的五级角色管理,支持组织级扩展。 应用作为测试容器继承所有权,自动记录 CloudWatch 自定义指标。 健康分数(0–100)通过扣减 Flaky Test 惩罚计算,并提供 7 天/30 天趋势及 Flaky 测试排名。
AWS 发布架构方案,展示如何在 Amazon Bedrock 和 Amazon Bedrock AgentCore 上构建多账户智能体 AI 平台。方案通过独立的推理与工具网关及严格的部署评测管道,让各业务团队能在隔离的边界内安全开发并运维 Agent,实现规模化企业级治理。
推荐理由:原文给出了多账户运营模型和评测管道设计,读者可据此理解如何治理企业级 AI 智能体平台。
Unveil 提出一种仅依赖主机侧遥测数据的框架,用于检测和修复大型机器学习负载中的隐性低效问题。它无需应用修改,使用无监督学习模型识别低效,并减少监控开销至 2% 以下。该系统可将吞吐量损失恢复 7%,并将推理延迟降低最多 43.48%。
针对 Qwen3-235B-A22B 模型,ZeRO-Prefill 系统通过异步专家并行 AsyncEP 实现了 MoE Prefill 服务的零冗余开销,在实际工作负载下吞吐量比最强分布式基线提升 1.34-1.37 倍。
研究采用薄膜铌酸锂马赫-曾德尔调制器作为模拟计算单元,在Vision Transformers和GPT-2上接近数字基线性能。 实验在10 GBaud符号率下表征电光响应,并在4-bit输入输出量化条件下验证模型鲁棒性。分析显示整体延迟比现有电子及光子Softmax实现降低一个数量级以上。
该研究系统分析了 WebGPU 在 LLM 推理中(batch size 1)的调度开销,指出传统基准测试高估了单次操作成本约 20 倍。 在 Vulkan 上内核融合可提升 53% 吞吐量,而 CUDA 融合无益;在 Metal 上不同实现间的性能差距达 2.2 倍。该研究证实了当前调度密集型流水线中,操作开销主导了性能表现,而非内核质量。
研究提出 PORTAL 控制器,用于决定测试时自适应干预(如更新归一化统计)的部署时机与标签查询策略。 PORTAL 通过固定候选预测规则并结合共享标签比较,将查询导向可能超越当前领先者的候选,在剩余标签无法改变选择或精度增益不足时停止。 该方法将整体降低精度的干预转变为在特定批次上有效的选择,防止到达顺序变化导致的严重失败,并通过获取的标签训练更强的未来候选模型。
TALOR 是一种轻量级、无反向传播的纠偏模块,用于开集测试时自适应,以源线性头为几何锚点。 该模块将特征分解为主坐标和尾坐标,利用加权岭回归在主要子空间中估计软路由仿射校正,并减去漂移估计。 在 ImageNet-C 基准上,TALOR 比 UniEnt 高出 2.2% H-score,运行速度快 2.5 倍,且仅使用其 12% 的 GPU 内存。