数据中心通过查询路由实现电力灵活性
该研究通过查询路由动态分配 LLM 推理任务,在保障服务的同时提供电力需求灵活性,验证误差为 2.8%。 框架涵盖 1B 至 70B 参数模型及四个 GPU 平台,在 10,000 块 H100 集群模拟中实现最高 16% 的电力灵活性,响应时间约 10 秒。 结果显示查询路由是数据中心电力调度的有效机制,框架可应用于更广泛的规划与编排。
该研究通过查询路由动态分配 LLM 推理任务,在保障服务的同时提供电力需求灵活性,验证误差为 2.8%。 框架涵盖 1B 至 70B 参数模型及四个 GPU 平台,在 10,000 块 H100 集群模拟中实现最高 16% 的电力灵活性,响应时间约 10 秒。 结果显示查询路由是数据中心电力调度的有效机制,框架可应用于更广泛的规划与编排。
FP4Quant 提出微分组 FP4 压缩框架,在 Qwen-7B 模型上较 BF16 实现最高 1.56× 端到端吞吐量提升。 该框架包含微分组双尺度量化、warp 协作 FP4 打包及混合两级 FWHT 流水线,以优化 GPU 执行并降低量化误差。
针对混合供应商加速器集群,LEAP 基于提交时配置预测吞吐量并按单位成本排序,日均路由数万次任务,覆盖 20 余种硬件类型。 在 30 次夜间重训练中准确率 77%,优于原有查找表;六个月内覆盖占比由 58% 升至 95%,预计节省约 3% 训练计算成本。
ROCm InferaSim 通过预测 LLM 服务性能来降低配置试验成本,在 AMD Instinct MI355X GPU 上仅需 9.1 GPU-hours 获取 11 个锚点,替代原本需要 204 GPU-hours 的完整测量。
本文提出基于最优传输对偶问题的高效算法,计算多草稿推测解码(MDSD)在千级词表下的理论最优接受率。 研究首次量化现有验证算法与理论上限的差距,发现无放回采样的最优接受率优于有放回采样,且现有算法均未达到理论上限。 结果表明精心设计的草稿采样方法可提升接受率,并为逼近理论上限的验证算法开发提供方向。
自然梯度下降因修正曲率而受限于梯度与数据相关性,新方法将其中一项修正从优化器移除并嵌入网络。 该方法以无矩阵求逆的递归动态实现去相关,且仅需突触局部信号,无需矩阵分解。 此技术显著提升生物启发式信用分配效果,并适用于神经形态硬件与分布式物理受限系统。
Cartesia 利用 State Space Models (SSMs) 在 AWS 基础设施上提供亚 100ms 延迟的文本转语音与语音转文本服务,其旗舰模型 Sonic 首字节延迟约为 90ms,支持 44 种语言及 10 秒样本语音克隆。
该架构利用 Postgres 扩展 AIDB 在运营数据库内部构建语义知识库 SemKB,实现数据与业务含义共置。结合 Claude 与 AgentCore Gateway,通过 MCP 端点暴露工具目录,利用 GRANT 权限和行级安全实现差异化访问。语义层直接嵌入数据库,通过注释和外键定义业务逻辑,支持 OpenTelemetry 追踪。
Gen Digital 基于 Amazon Bedrock AgentCore Web Search 构建了 Norton Revamp 的 AI 策展新闻引擎,该平台于 2026 年 3 月上线。该引擎通过实时联网搜索为用户提供 AI 生成的内容建议、新闻流及目标设定,解决静态知识库滞后及传统爬虫基础设施负担过重的问题。
Amazon Bedrock AgentCore Gateway 支持配置 Microsoft Entra ID 的 OBO 令牌交换,使 AI 智能体在调用 ServiceNow REST API 时能保留用户身份。
NVIDIA 官方博客阐述了 AI 正在重塑半导体制造行业,使工程师能更快地进行工程决策与模拟。通过加速计算、基于物理的 AI 代理及数字孪生技术,NVIDIA 与 COMSOL、Applied Materials、Lam Research、Siemens 等公司合作,将多物理场模拟、光刻及等离子体预测等关键环节的时间成本大幅降低,部分任务的处理效率提升了 10 至 35 倍。
生产级 LLM 系统引入外部经验虽能提升任务质量,但会增加在线推理延迟与服务成本。 研究对比了无经验基线、随机控制、全局注入及检索式选择性注入策略,在真实内容审核场景中分析质量与成本的权衡关系。 结果表明,当经验依赖具体案例时,检索式选择性注入优于无条件全局注入,且检索质量比单纯增加 Top-K 数量更关键。
EntropyCache是一种免训练KV缓存方法,利用解码Token分布最大熵作为恒定成本信号,决定何时重算缓存。 该方法单次决策计算复杂度仅为O(V),独立于上下文长度和模型规模。在LLaDA-8B-Instruct等模型上,该方法实现了15.2×至26.4×的推理加速,且决策开销仅占推理时间的0.5%。
PGuard 将安全监控集成至大模型骨干中,利用中间表征实现 token 级安全检测,不改变原有推理路径。 支持动态层门控及多种表征架构,在 Qwen3.5-122B-A10B 上端到端开销仅 0.82%-2.26%。 在 30 余个基准测试中表现领先,Qwen3.5-9B 文本查询平均 F1 达 0.836,接近专用外部护栏。
提出 GaugeLasso 方法,在训练阶段自适应移除 Transformer 低效用通道以实现结构压缩。 该方法通过加性对称群 lasso 罚项解决规范自由度导致的去稳定问题。
DualKV 提出首个消除共享提示复用的 FlashAttention 内核变体,实现与标准注意力数学等价。 在 Qwen3-8B 上支持 8K 上下文和 32 次 rollouts,策略更新提速 1.63-2.09 倍,MFU 从 36% 提升至 76%。 该方案扩展至 30B MoE 模型和 64K 长上下文 Gemma-4-31B,有效解决大 rollout 长上下文训练瓶颈。
FlyWheel 是一种面向 TPU 的高性能 Attention 内核集合,支持 softmax 和 Gated DeltaNet,并已在 TPU v6e 和 v7x 上实现。
论文分类了具有线性转移的实数与复数状态空间模型(SSM),通过可交换转移族特征化对角等价性。 基于 Mamba 3 的 MIMO 结构及 SSD-MIMO 路由,结合 Mamba 1-3 的衰减与旋转机制,在 H100 GPU 上改进融合内核训练时间,小模型多 token 召回优于 Mamba 1-3。
SpecPilot 是一个自动智能体循环系统,通过发现新算法和系统优化提升推测解码性能。 单请求场景下,其将相对自回归解码的加速比从 4.46 倍提升至 10.87 倍;批量场景下,加速比从 1.94 倍提升至 3.93 倍。 该系统实现了无质量损失的无损 12-bit 权重格式和树状验证机制。
研究提出 RAR 状态机框架,为生产 ML 模型应对概念漂移提供重训练、告警或回滚的决策依据。在 13 个数据流测试中,高成本场景下 RAR 优于部分基线,但低成本时优势不显著。 框架要求重训练通过两阶段金丝雀验证,并区分不同回滚保持状态。
在40个测试单元中,部署的宽头分支在所有场景下序数准确率均低于原始教师模型。 路由策略导致违规尾部最高达17.5%,且p99延迟高于1.5 ms目标,验证结果支持分支感知审计而非证明路由优势。
Scute 基于 vLLM 实现 DoRA、IA3、VeRA、OFT 及 LoRA 五种 PEFT 方法的统一精确批处理服务。 通过将各方法映射至含六槽位的 LoRA 计算通式,Scute 在 Hugging Face PEFT 库基准测试中平均误差小于 1.5%。
针对 6G 去中心化边缘基础设施,论文提出低轨卫星辅助的层级异步联邦学习框架 HAFL,通过地面卫星链路实现资源受限客户端协作。 HAFL 采用异步 Gauss-Seidel 型更新替代同步方法以加快收敛,并为凸及非凸目标提供理论收敛性证明,联合优化超参数以降低全局训练时延。 在基准 DNN 和数据集评估中,HAFL 实现更快的初始收敛和可比对的最终性能,显著减少全局轮次和通信成本。
Jet-QSparse 提出一种免训练方法,结合 NVFP4 缓存存储与 Blackwell 张量核心的原生 FP4 计算以加速 Agentic LLM 推理。
研究人员提出 GRAPE 在线学习框架,解决半导体制造中因设备退化导致的时间分布漂移问题,显著提升了虚拟计量模型的鲁棒性。 该框架集成稳定全局预测器与两个轻量级流式适配器,通过在线更新修正特征级和环境级偏移。 在包含时间顺序留出盲测流的两个真实数据集上,GRAPE 的性能优于传统批量学习及现有在线学习基线。
LayerLoom 提出一种层粒度 LoRA 协同服务机制,在 RTX 4090 上使 Llama-3.1-8B 的联合 SLO 达成率提升 13.5-21.8 个点,同时微调吞吐量提高最高 12%。
论文提出一种将 MXFP4 语言模型权重精确映射为 INT8 操作数的方法,使 4 位权重在仅支持 INT8×INT8 数据通路的硬件(如 Apple M5 神经网络加速器)上执行。
TileWeave 通过异构分块解决移动端 NPU 对规则大 tile 的偏好与 Block-sparse attention 不规则选择的冲突。 它将高共享 key 块分配给 NPU,低重用块由 GPU 处理特定查询,并在骁龙 SM8750/SM8850 上将全模型 prefill 速度较 XAttention 提升 1.35-3.23 倍。
该机制基于共享 KV cache 解耦计算与内存,在五个模型(最大 671B 参数)上实现 1.72–2.15 倍增益,保持 99% SLO。
summary_zh: VoxServe 提出了一种将 LLM 骨干与语音编解码器重叠运行在不同 GPU 分区上的 SpeechLM 服务架构。 该系统通过三条异步执行通道按数据块紧急程度调度,在 Qwen3-TTS 上实现 200ms TTFA 目标下请求速率提升 1.5 倍。
针对张量网络中低MACs路径不一定更快的问题,提出了固定PE预算下的部署受限设计空间探索框架。 该框架在ResNet-18和ViT-Ti/4上实现最低23.5%的模拟延迟降低,并在Xilinx VU9P FPGA上取得3.28倍至4.00倍的推理加速。
PrismServe 结合请求级协作与量化专家混合,在 48 个三厂商加速器上服务 Qwen3-14B 时,吞吐量达跨节点部署的 2.0-2.6 倍,P99 每 token 时间减少 55-65%。 该系统基于未修改的 vLLM 实现,两级路由器依据预测响应质量选择专家,并按负载和前缀缓存局部性选择副本,在 Qwen3-8B/14B/32B 的 5 个下游任务中精度接近全精度。
summary_zh: 提出动态混合精度路由框架(DMR),在三个长程智能体基准测试中实现 2.44x 解码加速,任务成功率与 FP16 相当。 DMR 通过轻量路由器识别关键步骤,结合嵌套量化使平均内存占用比 FP16 降低 39%,每步路由延迟增加不超过 0.11%,单步开销低于 1 ms。
ActionFlow 框架实现边缘端 OpenVLA-7B 模型推理 2.55 倍 FPS 提升。 该框架通过 Cross-Request Pipelining 调度与 Unified KV Ring Buffer 算子优化硬件利用率。 无需重新训练即可支持 20-30 Hz 控制频率,实现实时动态操作。
summary_zh: Sonar-MoE 在反向传播中即时更新专家张量,消除专家梯度驻留,显著降低显存占用。 微调 OLMoE-1B-7B 和 Granite-3.1-3B-A800M 时,峰值内存降低 19%-22%,单步耗时减少 17%-23%。
PlantVLM-Edge 提出量化视觉语言框架,实现无云连接的边缘设备作物健康诊断。在 NVIDIA Jetson AGX Orin 上部署,4-bit AWQ 量化保留 98.6% 精度并将 2B 模型内存降低 49%。
Turbo-GMM 提出单扫描融合 EM 内核,避免二次计算责任矩阵,实现中位数 2.15 倍加速。 该方案受限于寄存器压力与组件维度,适用于大数据集小组件场景;在 A100 上比 PyTorch 快 9.9 倍。
针对循环语言模型,研究提出 LoReS 量化流水线,支持 Qwen-3.5 9B 等模型在 vLLM 中实现 8-bit 状态量化并提升解码速度。 该方案包含值轴比例分组、基于衰减的混合精度及随机舍入技术,通过保护慢衰减通道限制误差累积,相比 softmax 注意力模型更容易量化。
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配,在满足延迟约束的同时,将精度提升了 4.0% 至 18.3%。 相比静态方法,MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
TADA 是一款支持跨内存技术泛化的 DNN 加速器性能与能量估算器,其设计空间探索吞吐量比仿真器提升超过 10^4 倍。 该模型在 21 条未见过的技术曲线上预测能量与延迟的平均绝对百分比误差分别为 1.5-4.4% 和 0.7-1.2%,支持 SRAM 及 ReRAM 等多种存储类型。 该研究已被 2027 年 ASPDAC 会议接收。