小米 MiMo-V2.5 系列推理全链路优化:将 Hybrid SWA 效率推向极致
小米发布 MiMo-V2.5 系列推理系统全链路工程化优化实践,覆盖 KVCache 管理、调度及多模态优化。通过重构 Hybrid SWA 的 KVCache 系统,使 KVCache 存储降至 Full Attention 的 1/7,服务端缓存命中率平均达 93%。
小米发布 MiMo-V2.5 系列推理系统全链路工程化优化实践,覆盖 KVCache 管理、调度及多模态优化。通过重构 Hybrid SWA 的 KVCache 系统,使 KVCache 存储降至 Full Attention 的 1/7,服务端缓存命中率平均达 93%。
小米 MiMo-V2.5 系列 API 宣布永久降价,新定价最高降幅达 99%,且不再区分上下文窗口长度;Token Plan 计费体系优化使可用用量提升至原来的 5-8 倍。
推荐理由:宣布 MiMo-V2.5 系列 API 大幅降价及 Token Plan 用量扩容,揭示 SGLang HiCache 推理优化支撑成本降低。
智谱面向部分企业客户开放 GLM-5.1高速版API“GLM-5.1-highspeed”,模型输出速度达到400 tokens/s,在完整保留GLM-5.1旗舰能力的基础上实现了低延迟响应。
推荐理由:原文通过实测对比展示了旗舰模型在保持能力前提下实现400 tokens/s低延迟的工程路径,为速度敏感场景提供了可参考的落地方案。
Cloudflare 在 Agent Cloud 中集成 OpenAI 的 GPT-5.4 和 Codex。此举使企业能够构建、部署并扩展 AI 智能体,以速度和安全性执行现实世界任务。
OpenAI 发布“OpenAI for India”项目,旨在扩大印度国内的 AI 接入。该项目将建设当地基础设施、支持企业发展并提升劳动力技能。
OpenAI for Government 宣布在 GenAI.mil 平台部署定制版 ChatGPT,为美国国防团队提供安全且注重安全的 AI 服务。此举将安全型 AI 能力引入美国国防系统,服务于相关军事团队。
OpenAI 推出欧盟经济蓝图 2.0,包含新数据、合作伙伴关系及倡议,旨在加速欧洲 AI 采用、技能培养及经济增长。
OpenAI 最新报告揭示了各国在先进 AI 采用方面存在的显著差异,并提出新计划以帮助国家通过 AI 获取生产力收益,旨在消除技术能力与实际落地应用之间的“能力闲置”(capability overhang)现象。
OpenAI 发布新的 RFP,旨在通过加速国内制造强化美国 AI 供应链。该计划目标包括创造就业岗位并扩展 AI 基础设施,以提升本土产能。
OpenAI 与 Cerebras 建立合作伙伴关系,新增 750MW 的高速 AI 算力。此举旨在降低推理延迟,使 ChatGPT 在处理实时 AI 工作负载时运行得更快。
Mistral AI 发布 Mistral Studio,这是一套面向企业的生产级 AI 基础设施平台,旨在解决 AI 系统从原型到生产部署的可靠性与治理难题。
推荐理由:原文展示了企业级 AI 生产平台的三大核心支柱,为摆脱原型阶段提供了可落地的工程方法论。
Scaleway 正式成为 Hugging Face Hub 支持的推理提供商,扩展了模型页面的无服务器推理功能。其托管 API 支持 gpt-oss、Qwen3 等开放权重模型,定价为每百万 tokens 0.20 欧元,首 token 响应时间低于 200ms。
Public AI Inference Utility 正式成为 Hugging Face Hub 支持的 Inference Provider。该开源项目通过 vLLM 后端和全球负载均衡层,为 Swiss AI Initiative 等机构提供基于捐赠 GPU 时间的免费推理服务。
OpenAI 推出 Jobs Platform 及新 Certifications,旨在连接求职者与工作、培训及认证。此举意在拓展经济机遇,提升 AI 技能的普及性与可及性。
NVIDIA 发布 9B 参数的 Nemotron Nano 2,采用 Transformer–Mamba 混合架构,端侧部署最高 6 倍 token 生成速度,支持配置 thinking budget,推理成本最多降低 60%。
Hugging Face 推出 kernel-builder 库,支持开发者在本地开发自定义 CUDA 内核,并针对多架构进行构建与分发。该工具通过 build.toml 和 flake.nix 实现可复现构建,利用 TORCH_LIBRARY_EXPAND 将内核注册为 PyTorch 原生算子。
Hugging Face 发布开源免费的 Python 实验追踪库 Trackio,支持本地 Gradio 仪表盘和无缝同步到 Hugging Face Spaces 以便分享协作。其 API 兼容 Wandb,用户可通过 pip 安装后直接替换 import 语句开始使用,同时原生集成 Transformers 和 Accelerate,核心代码量少于 1000 行。
Hugging Face 宣布将 CLI 工具正式从 huggingface-cli 更名为 hf,旨在优化命令结构以提升可用性。新 CLI 遵循统一语法规范,并同步推出了 hf jobs 服务。该服务允许用户在 Hugging Face 基础设施上按需运行脚本或 Docker 镜像,采用秒级计费模式,目前仅面向 Pro 用户及 Team 或 Enterprise 组织开放。
Diffusers 结合 PEFT 发布针对 Flux 图像生成模型的 LoRA 快速推理优化方案,通过 Flash Attention 3、torch.compile、FP8 量化以及新的 LoRA 热交换机制避免重编译问题,在 H100 上实现 2.23 倍加速。
NVIDIA 宣布其 NIM 推理微服务现已支持在 Hugging Face 平台上快速部署超过 100,000 个 LLM。NIM 提供单一 Docker 容器,自动识别模型架构与量化格式,并适配 TensorRT-LLM、vLLM 及 SGLang 等推理后端。
Hugging Face 与 AMD 合作为 MI300X 开发定制开源内核,以加速 VLLM 运行 Llama 3.1 405B FP8 模型的推理性能。通过组合 Fused residual、Fused SwiGLU 和 Skinny GEMM 三个优化内核,在 8 节点 MI300X 上实现了显著的解码延迟降低。
SGLang 新增 Hugging Face transformers 后端集成,支持以 impl="transformers" 参数运行任何兼容 transformers 的模型并自动回退,无需原生支持即可通过 RadixAttention 获得优化推理性能。
长提示词在默认vLLM策略中串行处理,阻塞后续请求首个token生成。vLLM更新允许并行预填充但限制长提示并发数,显著降低短请求的time-to-first-token,但无法消除并发预填充对正在解码请求造成的速度干扰。
Hugging Face 团队在其 nanoVLM 仓库中从零实现了 KV Cache,使文本生成速度提升 38%。该优化通过缓存 Key 和 Value 矩阵,避免了自回归生成中的重复计算。
Hugging Face 将 Intel Gaudi 硬件支持直接集成到 Text Generation Inference (TGI) 主代码库,结束维护独立 fork 的局面。
Hugging Face 发布的 Gradio 更新了 Dataframe 组件,最近 6 周内修复了超过 70 个问题。新功能包括多单元格选择、行号显示、列固定、复制按钮、全屏模式、顶部滚动、无障碍性改进、增强的样式控制、行/列选择、静态列以及搜索和过滤功能。用户可通过 `pip install --upgrade gradio` 安装最新版本。
Hugging Face 官方宣布 Xet 存储架构正式在 Hub 上线,并于 2 月 20 日完成首批约 6% 下载流量、总计 4.5TB 模型与数据集仓库的迁移。
推荐理由:Xet 存储正式接入 Hugging Face Hub 并完成首批 4.5TB 仓库迁移,其内容寻址分块机制让多 GB 级模型更新上传耗时从小时级降至秒级。
Hugging Face 博客提供框架用于计算单日 10 亿次以上分类或嵌入任务的推理成本。案例显示在 nvidia-L4 硬件上处理 10 亿次分类请求成本为 $253.82,嵌入为 $409.44,视觉嵌入高达 $44,496.51。通过调整 INFINITY_BATCH_SIZE 和 VUs 等参数并水平扩展 GPU 副本,可优化高吞吐量下的成本效率。
Hugging Face 开源基于 Rust 的 xet-core 和 hf_xet,将 Hugging Face Hub 模型与数据集仓库的上传下载速度提升 2 至 3 倍。方案通过引入 Block 和 Shard 聚合机制替代纯 Chunk 存储,减少内容寻址存储条目达 1000 倍,并优化了 3.5PB 量化 GGUF 模型文件的去重效率。
在 Google Cloud C4 实例(5 代 Xeon)上运行 Llama-3.2-3 模型和 UAE-Large-V1 嵌入模型,文本嵌入吞吐量较 N2 提升 10–24 倍,文本生成提升 2.3–3.6 倍。C4 每小时价格约为 N2 的 1.3 倍,在成本调整后嵌入和生成的总拥有成本优势分别为 7–19 倍和 1.7–2.9 倍。
Hugging Face 与 Microsoft 宣布深化战略合作,在 Azure 上扩展开放模型支持并提升部署体验。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,可将 key-value cache 压缩至 int2 至 int8,在 Llama2-7b-chat 上 int4 精度相比 fp16 在 LongBench 等基准上基本无损,同时显著降低显存占用。
利用 Intel Gaudi 2 加速器和 Xeon CPU 可高效构建企业 RAG 应用。嵌入模型在支持 AMX-FP16 指令集的 Xeon 上运行,LLM 在 Gaudi 2 上通过 TGI 部署。启用 FP8 量化推理可获得 1.8 倍吞吐量提升。
Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。
Zama 团队通过 Hugging Face Endpoints 和自定义推理处理器部署了预编译的 Concrete ML 模型,支持在加密数据上直接计算而不暴露明文。用户可使用预编译模型如 concrete-ml-encrypted-decisiontree 进行隐私保护推理,仅需 CPU 即可运行,当前强制要求 Python 3.10 环境。
Ryght 正式启动 Ryght Preview,这款面向医疗和生命科学领域的企业级生成式 AI 平台现已公开可用。
Gradio 的 Reload Mode 允许在不重启服务器的情况下实时加载代码变更,适用于快速开发 AI 应用。该模式通过自定义逻辑实现选择性重载,例如使用 gr.NO_RELOAD 标记代码块,避免重新加载耗时的大模型或数据库连接。
Hugging Face 推出 Google Cloud 集成,允许将数千个开源基础模型通过 Vertex AI 或 GKE 部署。支持带有“text-generation-inference”标签的模型,开发者可一键生成生产级 API 端点。数百个热门开源 LLM 提供预配置硬件方案,无需管理基础设施即可在 Google Cloud 环境中构建生成式 AI 应用。
SetFit 在 Intel Xeon CPU 上通过 🤗 Optimum Intel 的量化技术实现了 7.8 倍推理加速,支持生产级部署。 该方案利用 Optimum Intel 库(版本需 ≥1.14.0)执行后训练静态量化,结合 AVX-512 和 AMX 指令集优化模型运行效率。
Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。
推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。