OpenAI 推出就业平台与认证项目以拓展 AI 经济机遇
OpenAI 推出 Jobs Platform 及新 Certifications,旨在连接求职者与工作、培训及认证。此举意在拓展经济机遇,提升 AI 技能的普及性与可及性。
OpenAI 推出 Jobs Platform 及新 Certifications,旨在连接求职者与工作、培训及认证。此举意在拓展经济机遇,提升 AI 技能的普及性与可及性。
NVIDIA 发布 9B 参数的 Nemotron Nano 2,采用 Transformer–Mamba 混合架构,端侧部署最高 6 倍 token 生成速度,支持配置 thinking budget,推理成本最多降低 60%。
Hugging Face 推出 kernel-builder 库,支持开发者在本地开发自定义 CUDA 内核,并针对多架构进行构建与分发。该工具通过 build.toml 和 flake.nix 实现可复现构建,利用 TORCH_LIBRARY_EXPAND 将内核注册为 PyTorch 原生算子。
Hugging Face 发布开源免费的 Python 实验追踪库 Trackio,支持本地 Gradio 仪表盘和无缝同步到 Hugging Face Spaces 以便分享协作。其 API 兼容 Wandb,用户可通过 pip 安装后直接替换 import 语句开始使用,同时原生集成 Transformers 和 Accelerate,核心代码量少于 1000 行。
Hugging Face 宣布将 CLI 工具正式从 huggingface-cli 更名为 hf,旨在优化命令结构以提升可用性。新 CLI 遵循统一语法规范,并同步推出了 hf jobs 服务。该服务允许用户在 Hugging Face 基础设施上按需运行脚本或 Docker 镜像,采用秒级计费模式,目前仅面向 Pro 用户及 Team 或 Enterprise 组织开放。
Diffusers 结合 PEFT 发布针对 Flux 图像生成模型的 LoRA 快速推理优化方案,通过 Flash Attention 3、torch.compile、FP8 量化以及新的 LoRA 热交换机制避免重编译问题,在 H100 上实现 2.23 倍加速。
NVIDIA 宣布其 NIM 推理微服务现已支持在 Hugging Face 平台上快速部署超过 100,000 个 LLM。NIM 提供单一 Docker 容器,自动识别模型架构与量化格式,并适配 TensorRT-LLM、vLLM 及 SGLang 等推理后端。
Hugging Face 与 AMD 合作为 MI300X 开发定制开源内核,以加速 VLLM 运行 Llama 3.1 405B FP8 模型的推理性能。通过组合 Fused residual、Fused SwiGLU 和 Skinny GEMM 三个优化内核,在 8 节点 MI300X 上实现了显著的解码延迟降低。
SGLang 新增 Hugging Face transformers 后端集成,支持以 impl="transformers" 参数运行任何兼容 transformers 的模型并自动回退,无需原生支持即可通过 RadixAttention 获得优化推理性能。
长提示词在默认vLLM策略中串行处理,阻塞后续请求首个token生成。vLLM更新允许并行预填充但限制长提示并发数,显著降低短请求的time-to-first-token,但无法消除并发预填充对正在解码请求造成的速度干扰。
Hugging Face 团队在其 nanoVLM 仓库中从零实现了 KV Cache,使文本生成速度提升 38%。该优化通过缓存 Key 和 Value 矩阵,避免了自回归生成中的重复计算。
Hugging Face 将 Intel Gaudi 硬件支持直接集成到 Text Generation Inference (TGI) 主代码库,结束维护独立 fork 的局面。
Hugging Face 发布的 Gradio 更新了 Dataframe 组件,最近 6 周内修复了超过 70 个问题。新功能包括多单元格选择、行号显示、列固定、复制按钮、全屏模式、顶部滚动、无障碍性改进、增强的样式控制、行/列选择、静态列以及搜索和过滤功能。用户可通过 `pip install --upgrade gradio` 安装最新版本。
Hugging Face 官方宣布 Xet 存储架构正式在 Hub 上线,并于 2 月 20 日完成首批约 6% 下载流量、总计 4.5TB 模型与数据集仓库的迁移。
推荐理由:Xet 存储正式接入 Hugging Face Hub 并完成首批 4.5TB 仓库迁移,其内容寻址分块机制让多 GB 级模型更新上传耗时从小时级降至秒级。
Hugging Face 博客提供框架用于计算单日 10 亿次以上分类或嵌入任务的推理成本。案例显示在 nvidia-L4 硬件上处理 10 亿次分类请求成本为 $253.82,嵌入为 $409.44,视觉嵌入高达 $44,496.51。通过调整 INFINITY_BATCH_SIZE 和 VUs 等参数并水平扩展 GPU 副本,可优化高吞吐量下的成本效率。
Hugging Face 开源基于 Rust 的 xet-core 和 hf_xet,将 Hugging Face Hub 模型与数据集仓库的上传下载速度提升 2 至 3 倍。方案通过引入 Block 和 Shard 聚合机制替代纯 Chunk 存储,减少内容寻址存储条目达 1000 倍,并优化了 3.5PB 量化 GGUF 模型文件的去重效率。
在 Google Cloud C4 实例(5 代 Xeon)上运行 Llama-3.2-3 模型和 UAE-Large-V1 嵌入模型,文本嵌入吞吐量较 N2 提升 10–24 倍,文本生成提升 2.3–3.6 倍。C4 每小时价格约为 N2 的 1.3 倍,在成本调整后嵌入和生成的总拥有成本优势分别为 7–19 倍和 1.7–2.9 倍。
Hugging Face 与 Microsoft 宣布深化战略合作,在 Azure 上扩展开放模型支持并提升部署体验。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,可将 key-value cache 压缩至 int2 至 int8,在 Llama2-7b-chat 上 int4 精度相比 fp16 在 LongBench 等基准上基本无损,同时显著降低显存占用。
利用 Intel Gaudi 2 加速器和 Xeon CPU 可高效构建企业 RAG 应用。嵌入模型在支持 AMX-FP16 指令集的 Xeon 上运行,LLM 在 Gaudi 2 上通过 TGI 部署。启用 FP8 量化推理可获得 1.8 倍吞吐量提升。
Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。
Zama 团队通过 Hugging Face Endpoints 和自定义推理处理器部署了预编译的 Concrete ML 模型,支持在加密数据上直接计算而不暴露明文。用户可使用预编译模型如 concrete-ml-encrypted-decisiontree 进行隐私保护推理,仅需 CPU 即可运行,当前强制要求 Python 3.10 环境。
Ryght 正式启动 Ryght Preview,这款面向医疗和生命科学领域的企业级生成式 AI 平台现已公开可用。
Gradio 的 Reload Mode 允许在不重启服务器的情况下实时加载代码变更,适用于快速开发 AI 应用。该模式通过自定义逻辑实现选择性重载,例如使用 gr.NO_RELOAD 标记代码块,避免重新加载耗时的大模型或数据库连接。
Hugging Face 推出 Google Cloud 集成,允许将数千个开源基础模型通过 Vertex AI 或 GKE 部署。支持带有“text-generation-inference”标签的模型,开发者可一键生成生产级 API 端点。数百个热门开源 LLM 提供预配置硬件方案,无需管理基础设施即可在 Google Cloud 环境中构建生成式 AI 应用。
SetFit 在 Intel Xeon CPU 上通过 🤗 Optimum Intel 的量化技术实现了 7.8 倍推理加速,支持生产级部署。 该方案利用 Optimum Intel 库(版本需 ≥1.14.0)执行后训练静态量化,结合 AVX-512 和 AMX 指令集优化模型运行效率。
Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。
推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。
Hugging Face 发布了一份面向非技术背景读者的 Transformers 入门指南,旨在帮助零基础用户理解开源机器学习的基本概念。该教程以在 Hugging Face Space 的 JupyterLab 笔记本中运行微软 Phi-2 大语言模型为例,演示了如何配置 NVIDIA A10G GPU 环境并部署模型。
GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练,将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器,使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。
Hugging Face 推出 PyTorch 量化后端 Quanto,作为 Optimum 的组件支持 int8、int4、int2 及 float8 权重与激活量化。
Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。
推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。
PEFT 库发布了针对 LoRA 适配器的新合并方法,支持在推理阶段在线结合多个微调权重。文章介绍了 concatenation、linear、SVD、TIES 和 DARE 等多种算法,提供代码示例与效果对比,并展示了将文本生成和文生图场景下不同风格的 LoRA 权重合并的应用,旨在帮助开发者在有限显存条件下提升模型能力融合体验。
Hugging Face Text Generation Inference(TGI)在 AWS Inferentia2 和 Amazon SageMaker 上正式发布。
Hugging Face 团队展示了在 Intel 4th Gen Xeon 上加速 StarCoder-15B 的方法,通过 8 位/4 位量化与推测解码实现最高 7.3 倍 TPOT 提升。量化后 HumanEval pass@1 精度损失极小,推测解码选用 164M 参数 draft 模型,文中给出了 IPEXModelForCausalLM 推理代码示例。
Hugging Face 教程指导将 ComfyUI 工作流转换为纯 Python 脚本并构建 Gradio 应用。流程包括使用 ComfyUI-to-Python-Extension 导出代码,并部署至 Hugging Face Spaces 的 ZeroGPU 服务器less 架构。用户可免费运行 Flux[dev] Redux 等工作流,无需本地 GPU 资源。
Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。
推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。
Hugging Face 宣布现已支持在 AMD Instinct GPU 上开箱即用地运行所有 Transformers 模型和任务,无需修改任何代码即可替换 NVIDIA GPU 的部署流程。
推荐理由:Hugging Face 和 AMD 给出了在 AMD Instinct GPU 上直接运行 Transformers 模型和部署 TGI 的入口,读者可以据此把现有 NVIDIA 工作流迁移过去。
Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。