针对 TPU 协同设计的分块门控 Delta 注意力架构 SLA
研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。
研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。
FlexMoE 提出训练后多预算专家剪枝框架,将大型 MoE 模型转化为共享权重的子网络族。 该框架通过重要性排序专家 FFN 通道构建可切片权重空间,单次训练即可生成各预算下的剪枝掩码;在 Qwen2-57B-A14B 上剪枝 50% 路由专家参数后,保留约 99.8% 的基础性能。
SharQ 提出一种免训练方法,将激活稀疏性与 FP4 量化结合以降低 LLM 推理开销。 通过在线稀疏-稠密分解,生成自适应 N:M 掩码提取离群值,并将稀疏主干量化为 FP4,用稠密残差补偿误差。 在 Llama-3.1-8B 等模型上恢复 43%–63% 精度差距,RTX 5090 上实现 2.2–2.4 倍延迟降低。
Arbor 系统通过可插拔搜索策略(如 scored bandit、并行 agent swarms 和深度优先 sweep)赋予自主智能体在优化树上进行推理、回溯和深化的能力。
BubbleTea 首个利用 MoE 专家并行气泡进行微调的共置系统,相比 LLMStation 快 1.9–6.2 倍。 其编译器路径自动从服务 LLM 派生微调块,4 块 A100 GPU 上 p90 推理延迟保持良好。 突发负载下训练速度达普通训练器的 14 倍。
研究提出 SkimPrefill 方法,利用 Qwen3.5-0.8B 等小模型在低分辨率下快速定位关键图文单元,加速视觉语言模型(VLM)处理 100K token 长输入的 Prefill 阶段。
LEDGE 是一种无需执行张量运算即可评估异构边缘设备分布式 LLM 服务的轻量级模拟器。它在 10 台 Jetson 和 Raspberry Pi 设备上测试,Qwen 部署的请求级平均绝对百分比误差低于 3.6%,综合加速比达 135.3 倍。
论文提出代理式框架 Lodestone,通过分析代码计算语义自动发现硬件专用化机会,并在 20 个负载上实现平均 12.6%、最高 80.2% 的加速。 该框架从执行轨迹提取热控制流区域,利用代理描述计算功能并合并为计算族,最终通过参考输入验证语义正确性,进而提出 ISA 扩展等硬件建议。
Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。
ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。
研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。
GateWatch 将 LLM 监控决策规则简化为布尔逻辑,在 Gemma-2-9B 上以 3.8 个 SAE 特征实现 80.49% 测试准确率。 其内存占用降低 99.98%,在 vLLM 中运行千个并发分类器时,仍保持 97-98% 的基线吞吐量。
研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。
提出运行于 NVIDIA Jetson Orin 网关的自学习生产级 HVAC 边缘堆栈,组件利用建筑自有数据持续自适应。 Transformer 预测器在单栋酒店中一周内收敛,送风、新风及风机盘管 MAE 分别为 0.37、0.39 和 0.11 摄氏度;RL 智能体在 104 个单元处于影子模式。
研究揭示低比特压缩导致视觉 CNN 精度坍塌集中于后期 pointwise 投影层。 保留不足 5% 关键层激活为 8-bit 精度,可恢复激进 sub-4-bit 压缩下 92% 的丢失精度。 低比特量化虽降低存储需求,但运行时解包导致 1.48x 至 21.5x 执行速度下降。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。
研究提出 NarrowSpec,证明在推测解码中,DFlash 和 EAGLE-3 草稿模型的隐藏宽度可缩减至目标模型(Qwen3-8B, GPT-OSS-20B)的二分之一或四分之一,且能维持较高的 token 接受率。
在 300 份合成 CV 池中,按工具建议顺序阅读可在半堆内容中发现 95% 的相关候选人,优于随机顺序。 该系统使用冻结的多语言 Transformer 编码器,结合会话级线性模型,每次标签后重新训练并在会话结束时丢弃。 审计发现文档长度即可排序导致指标无效,不确定性采样虽保持模型质量但增加委员会总阅读负载;托管 LLM 嵌入模型将零标签序数判别力从 0.66 提升至 0.80。
研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。
Standard Kernel 通过软件优化在 Qwen3.5-27B 模型长文本推理基准上,使 Intel Gaudi2 的解码吞吐量比 NVIDIA H100 提高 60%,预填充吞吐量提高 8%。在每 $0.60 的租用成本下,优化后的 Gaudi2 展现出 9.4 倍的每美元 token 产出效率。
推荐理由:文章展示了通过软件优化让Intel Gaudi2推理性能超越NVIDIA H100的具体案例,揭示了优化推理栈对硬件性价比的巨大影响。
哈佛研究估算美国最大400个数据中心年度耗电68至99 TWh,中央情景约82 TWh,其中54%电力来自天然气和煤炭,每年排放约2570万吨 CO2。
Langfuse 团队发布了 AI Gateway,采用 Rust 构建以解决 AI 代理工作负载中 Node.js 单线程阻塞和 Python GIL 导致的性能瓶颈。
推荐理由:揭示了 AI 网关在 Rust、Node.js 和 Python 中的内存与延迟表现,并解释了保留原生 API 对 Agent 稳定性的意义。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
JigSLO 提出一种感知带宽争用的多 LLM 服务系统,平均将 SLO 达标率提升 2.3 倍,吞吐量提升 1.2 倍。 系统通过联合优化张量并行、计算份额与批次配置,在长上下文工作负载中仅需一半 GPU 即可匹配基线的最佳达标率。
基于 OpenROAD 的 MLBuf-RePlAce 框架在开源流程中实现 TNS 最大 56%、平均 31% 的改进。 该框架采用递归学习预测 buffer 类型与位置,并解决了传统方法的计算开销及 ERC 违规问题。 在商用流程中,其 TNS 平均提升 28%,且后路由功耗保持无显著退化。
LoopZip 提出了一种无训练视觉 Token 压缩算法,解决循环视觉语言模型中长序列计算和内存开销问题。 在 LoopVL-1B 上,该算法在 50% 修剪比下保留 97.16% 的原始性能,在 87.5% 修剪比下超越最强基线 5.36%。
研究人员提出首个针对 scale-up memory 的稀疏注意力 offloading 系统 XM-Sparse。该系统在 SGLang 框架上实现,利用 TMA 检索与 SM 高效 DMA 预取解决 HBM 容量限制。 在 DeepSeek-V3.2 和 GLM-5.3 模型上,XM-Sparse 解码吞吐量比 PCIe 基线提升最高 4.98 倍,比同平台原生集成提升 1.34 倍。
HyCoInfer 提出云边协同推理架构,将 prefill 分配至云端 GPU,解码分布于 GPU 与边缘 FPGA。在 500 Mbps 链路下,其请求 goodput 达 vLLM 的 4.11 倍,平均延迟降低 61.1%。该系统通过异构卸载与带宽自适应 KV 压缩,显著提升通信密集型任务的推理服务容量并降低能耗。
研究 Qwen3-8B 在 NVIDIA B200 上的混合精度量化,发现特定配置通过 FINAL-81 测试集全部门槛。 该配置包含 16-bit 激活、98 个 NVFP4 权重模块及 46 个 INT8 模块,权重内存占用 5.917 GiB。 相比 NVFP4 W4A4,配对准确率提升 1.4 个百分点,TPOT 比为 0.939,验证了非加法性模块恢复效应。
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
Gemma 4 31B 模型通过单次存储 640 值行替代完整的 key/value 缓存,在 vLLM 原型中使稳态解码 KV 内存降低 1.34 至 1.40 倍。
针对循环扩散 Transformer,LoopPrune 提出结合重要性估计与权重补偿的剪枝恢复框架。 在 30% 结构化参数剪枝下,Looped-DiT B/16 保留 93.14% 的平均准确率,较最优基线提升 9.49%。SDXSv3 在推理后端中减少 34.36%-44.64% GPU 显存占用,加速 1.46-1.74 倍。
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。
VisHead-Spec 提出头路由视觉注意力机制,解决多模态推测解码在高并发下加速比下降问题。 该方法在 Qwen3-VL-8B 模型中,让推测解码器 40 个 KV 头中的 8 个读取图像特征,其余仅关注文本。 在 batch size 64 时,其吞吐量比自回归解码提升 16.0%,显著优于 DSpark 的 9.5%。
基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。
研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。
Xing 4 是 TeleChat 衍生系列,在昇腾芯片上实现了 285B 参数模型的前训练,使用 8,192 张昇腾 910C 卡。 前训练基于 MindSpore HyperParallel,结合拓扑感知混合分片与长序列工作负载管理。 引入 TeleGym 智能体执行平台,支持异步解耦执行与部分 rollout,为后续更大规模模型奠定昇腾训练基础。
一项针对AI超算互连性能的Trace驱动研究揭示了真实工作负载对延迟、带宽和抖动的敏感性。研究覆盖高达4,096个GPU的训练与推理负载,利用NCCL调度和LogGP模型估算运行时间下界。该方法结合特征分解与线性规划,识别出不同工作负载间的性能悬崖及带宽升级的边际收益。