Multi-Branch Transformer 如何通过分支并行提升语言模型扩展效率
研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。
研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。
本文系统综述了大语言模型(LLM)在 AI 基础设施全生命周期中的应用,涵盖加速器设计、内核工程、编译、部署、运维、数据管理及能效优化。 文章按 LLM 管理的主要资源构建分类法:面向产物的计算方法、面向运行的部署/系统状态方法,以及面向资源的数据与能效方法。
针对google/gemma-3-12b-it模型,结合量化与重排序可保持WMT翻译任务质量。 研究使用int8/fp8格式无损失,int4留残余;最佳4选1重排序器提升8/4位系统表现。
该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。
NVIDIA 在 SC26 推出 DGX Spark 开发者套件,这是由 4 个节点组成的集群,配备 GB10 Grace Blackwell 超级芯片。 该套件提供 512GB 总内存和 16TB NVMe 存储,支持使用 NVFP4 技术部署最高 700B 参数的模型,无需交换机即可通过 ConnectX-7 网络连接。
MoEngage 利用 Amazon Bedrock AgentCore 和 MCP 架构推出了 Merlin AI 智能体系统。该系统支持在单次对话中完成活动策划与数据分析,帮助客户提升营销效率。
Amazon Bedrock 与 AWS Transform 结合 Kiro IDE 构建多阶段方法论,将大型机 Assembler 代码转化为 Java Spring Boot 服务,在缩短现代化的同时保持业务逻辑完整性。
Lambda 部署 NVIDIA Photonics CPO 交换机连接 GB300 NVL72 机架,实现最高 5 倍能效提升与 15 倍可靠性增强。 每款交换机配备 144 个 800Gb/s 端口及 18 个可更换光源,光模块中位温度降至 36°C,网络延迟减少最高约 10%。 通过缩短电信号路径并移除 retimer 芯片,该技术降低了网络中断对大规模 AI 集群的影响。
Amazon Bedrock 开源权重模型新增显式提示缓存,通过 Chat Completions API 标记可复用前缀,降低输入成本与延迟。 支持隐式与显式两种模式,显式模式使用 prompt_cache_breakpoint 标记缓存层级,仅共享前缀计入高价缓存写入费,避免非复用内容额外支出。 缓存由 Amazon Bedrock 自动管理,用户数据不用于模型训练。
Amazon Bedrock 托管知识库新增检索指令,允许为共享知识库的每个租户配置 persona、answerFormat、retrievalGuidance 和 answerPolicy,统一答案语言、日期货币格式和引用风格。
summary_zh: HetCCL 是一种集合通信库,支持跨 NVIDIA 和 AMD GPU 的 RDMA 通信,无需修改驱动程序。 该库通过集成 NCCL 和 RCCL,在混合环境中实现高效通信,且在与 NCCL 或 RCCL 单独使用的场景中保持同等性能。
summary_zh: DeltaBox 提出基于变更的 OS 级沙箱检查点机制,实现毫秒级状态保存与回滚,解决现有方案高延迟瓶颈。 通过 DeltaFS 冻结可写层实现文件状态 copy-on-write,DeltaCR 从冻结模板进程 fork 恢复内存状态,两者协同保证一致性。
FlashSampling 将精确采样融合进 LM head 矩阵乘法,避免在 HBM 中生成完整 logits 张量,并在 4 种数据中心 GPU 上实现内核级加速。 在张量并行解码中,方法用流式对等写入替代 logits 的 all-gather,支持最多 8 个 GPU 通信与计算重叠,且在 vLLM 端到端测试中每输出 token 时间最多降低 10%。
在 Agilex 5 FPGA 上实现的 3.69 亿参数 Gated DeltaNet 模型 Tile 证明,递归状态分页并非解码瓶颈。该 Tile 处理单个 369 亿参数层,状态分页仅占总计算量的 11.2%,而权重加载限制了性能。
Superfluid 是开源 LLM 服务器,用于本地设备上的 LLM 推理,支持单设备多智能体共享模型及跨设备集群服务。
推荐理由:原文给出了具体硬件下的延迟改善和吞吐数据,读者可据此评估分布式本地推理在实际混合算力场景中的可行性。
研究人员扩展 Halide 语言,将算法与值表示分离,为量化张量生成 347 个内核。 这些内核覆盖 38 个 GGML 缺失的权重激活对,代码量比 GGML 和 KleidiAI 少 3.7 倍。 在 Apple M3 Max 上,内核速度达到 GGML 专用内核的至少 95%。
VelServe 提出一种通过尾部校准调度平抑 LLM 解码抖动的方案,在 Qwen3-8B 和 DeepSeek-V4-Flash 上将 SLO goodput 提升至最强基线的 2.4-2.9 倍。 该调度器校准每个解码步骤的 prefill 工作量,结合最短等待 prompt 优先策略,在 8 卡分离部署下使满足 SLO 的请求数达到 SOTA 基线的两倍以上。
针对拜占庭攻击导致ADMM算法失效的问题,提出结合门限签名广播和局部机器学习的防御框架。 攻击可使电动汽车成本偏差最高达132.7%,防御机制将成本变化限制在2.6%内;在70%节点受攻击时,该恢复机制在97.8%的模拟中保持收敛。
昇腾NPU团队推出AscendGYM基准测试,其初始套件包含48个内核,覆盖三个难度级别,所有测试用例的数据类型和张量形状均源自真实训练与推理任务。 AscendGYM支持模型评估和模型-框架评估两种模式,并提出了结合加速倍数与token成本的新指标STS(Speedup-Token Score),用于衡量可接受预算下的实际内核优化能力。
GS Caltex 通过连接 Amazon SageMaker Canvas 与 Amazon SageMaker Pipelines,实现生产级 MLOps 工作流。过程工程师在 Canvas 中无代码构建模型,ML 工程师负责部署。 自动化交接使模型部署时间从约一周缩短至几小时内。每 30 分钟运行批量推理,显著降低了推理成本。
Amazon Bedrock AgentCore runtime V2 采用环境快照机制,将会话启动时的镜像拉取与初始化前置,从而加速恢复过程。 V2 在创建或更新运行时生成快照,新会话通过恢复快照启动,仅按需从镜像加载文件。 该版本支持构建钩子以预热依赖,并通过 CloudWatch 指标区分平台开销与代码执行时间。
AWS 官方教程展示了如何在 Amazon SageMaker JumpStart 上部署 OpenFold3-preview 模型进行生物分子 3D 结构预测。
Google Research 宣布在 Antigravity 平台开放 /teamwork 多智能体协作功能,并展示了其在数学证明、分子化学发现及代码优化等领域的最新应用成果。
推荐理由:原文展示了多智能体在数学证明、分子发现和代码迁移中的实际应用,读者可据此评估其在科研和工程领域的可用性。
AssemblyAI 采用 Amazon EC2 Spot 与按需实例混合架构,在保持 SLA 的前提下大幅降低大规模 GPU 推理成本。 架构基于 Amazon ECS 多容量提供者策略,分散使用 g4dn、g5、g6 实例族,并通过 Amazon SQS 实现中断任务自动重试。 该方案满足医疗、金融等行业的欧洲数据驻留合规要求,已在 AWS Marketplace 提供 API 服务。
Amazon SageMaker HyperPod 推出 Data Capture 功能,将实时推理输入输出记录至 Amazon S3,帮助团队检测数据漂移。 该功能提供三个独立层级,支持在 SageMaker 端点、负载均衡器或模型 Pod 处采集全量负载,且对模型可用性零影响。 用户可利用捕获数据通过 Amazon Athena 分析并标记新盲区,结合微调提升特定领域模型准确率。
Amazon Bedrock 可通过零代码改造的 IAM principal 归因功能,追踪 Claude Code、Codex 等 AI 工具在每次推理调用中的用户级成本。该教程展示了配置 IAM Identity Center 实现单用户认证、将 session 标签写入 CUR 2.0 以进行成本拆分,以及如何结合 AWS Budgets 或 LLM Gateway 设置用量上限的完整流程。
Hugging Face 发布 llama.cpp 与 ggml 的 v1.0.0 库版本,确立以重大版本标记 API 和 ABI 不兼容的语义版本规则。该引擎支持跨平台本地多模态 LLM 推理,覆盖 150 多种模型架构及主流推测解码方法,并扩展至 Linux、macOS、Windows、Android、iOS 等发行渠道。
AI 正帮助医疗团队将时间从常规任务转向患者,加速护理流程。NVIDIA 技术为应用提供算力,Proximie 利用 NVIDIA Cosmos 3 在 700 多间手术室部署,使周转速度提升 45%。ConcertAI 借助 AI 引擎将临床试验匹配速度提升至手动方法的 3 倍,支持高达 50% 的入组率增长。
NVIDIA 发布 Instant NuRec,前馈神经网络将短时多视角驾驶日志单次前向转化为可仿真的 3DGS 世界。 10-20 秒多摄像头场景重建耗时约 1.5 秒,在 Waymo 数据集上 PSNR 较最强基线提升 2.01 dB。 模型深度集成于 NuRec,并支持 AlpaSim 闭环仿真,降低自动驾驶开发成本并提升安全性。
AskALCF 是一种面向 HPC 用户支持场景的智能体日志分析与系统自改进流水线,将生产中未定位故障比例从 41.4% 降至 14.2%。 其诊断核心结合了答案质量评估与双范围充分性测试,可区分“文档缺失”与“检索失败”,并将失败路由至知识、提示、模型或工具执行的对应修复路径。 该工作证明了受生产证据驱动的受控自进化机制,为部署后的 AI 支持系统提供了超越知识库定期更新的持续改进基础。
基于记忆分类器的草案模型 Olifant 在 CPU 上预测下一 token 耗时低于 0.3 ms,无需 GPU 或反向传播。在无 KV cache 的 LLM 验证器中,Olifant 接受率达 38.1%,吞吐量提升 2.43 倍,单 token 能耗降低 2.51 倍。这表明只要草案生成成本极低,推测解码在快速验证器时代仍具有显著能源效率优势。
针对 typed-decision 模型 Laya,一个 130 行 NumPy 的配方可显著改进其置信度校准效果。 在 1,065 个 LLM 标注的合成数据上,按桶交叉拟合的温度标度将 bucket-macro ECE 从 0.143 降至 0.073;12 选项桶过于自信(+0.22),3-5 选项桶过于保守(-0.05),分桶处理是主要收益来源。
Together AI 推出持续编译系统 Together Compiler (TKCC),采用智能体爬山法优化 AI 推理负载。 在 InferenceX 基准上,TKCC 在 Llama 1B 工作负载上比手写 Megakernels 快 1.7 倍,在前端模型上比最佳开源引擎 TPS 高 2.6 倍。 TKCC 已在生产环境中服务数万亿 tokens,支持跨硬件平台的高效推理部署。
MARS 提出协调工作流准入控制与引擎内调度的智能体服务系统,旨在解决 GPU 内存受限下多轮工作流因 KV 缓存复用导致的反复驱逐(抖动)问题,实现高工作流级 goodput。 在两个模型和三种 GPU 配置上,MARS 相比最快基线实现了 1.59x-7.56x 的平均端到端延迟加速,并作为 OpenCode、Codex 等后端将工作流完成时间提升了 1.17x-1.87x。 开源代码已公开。
DREX 提出批处理早期退出 LLM 推理系统,通过跨迭代批处理避免强制 token 提前退出。 采用 vLLM 异步调度,结合推测持有策略。在 Llama-2-70B 上实现 2.22-2.24 倍解码加速,速度优势比 EAGLE 高 9-63%。
OSCAR 提出离线估计注意力感知协方差目标,推导固定逐层旋转与裁剪阈值,在 2-bit 精度下保持注意力保真度。 在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上,OSCAR 将 BF16 精度差距分别缩小至 3.78 和 1.21 分,在 Qwen3-32B 和 GLM-4.7(358B 参数)上达到 BF16 水平。
CUDA-L2系统结合LLM与强化学习优化HGEMM CUDA内核,在1,000种配置下系统性超越cuBLAS等基准。 离线模式下平均比cuBLAS快19.2%,服务器模式下比cuBLAS快26.0%,验证了LLM引导的自动化优化潜力。 该项目表明即使高度优化的内核也可通过系统化探索配置空间得到显著提升。
GC-MoE 操作针对 RTX PRO 5000(SM120)重构,通过 warp 级 FP8xFP4 块缩放 MMA 实现专家并行解码加速。 在 8 张 RTX PRO 5000 上,该算子比 FlashInfer CuTe DSL W4A8 和 Cake MegaMoE 分别快 1.522 倍和 1.387 倍。
并行提示(Parallel Prompting)通过并行解码独立问题流,解决了传统前缀缓存在解码阶段受内存带宽限制的瓶颈。 该方法在 SGLang 中仅需增加约 80 行代码,利用流 ID 注意力掩码实现单次阅读共享文档。在 CodeLlama-7B 模型及 8k-16k token 文档场景下,相比原生 SGLang 实现 3.7 至 6.0 倍加速。
提出基准 MLIRBench,包含 1,768 个经执行验证的 torch 与 linalg 程序变异对,评估 9 个 LLM 的语义推理能力。 Gemini 3.1 Pro 在 1,768 对测试中取得 92.65% 的硬标签准确率及 5.04/10 的行为评分,结果显示语义分类能力与详细执行行为预测间存在差距。