如何在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队通过 Hugging Face Endpoints 和自定义推理处理器部署了预编译的 Concrete ML 模型,支持在加密数据上直接计算而不暴露明文。用户可使用预编译模型如 concrete-ml-encrypted-decisiontree 进行隐私保护推理,仅需 CPU 即可运行,当前强制要求 Python 3.10 环境。
Zama 团队通过 Hugging Face Endpoints 和自定义推理处理器部署了预编译的 Concrete ML 模型,支持在加密数据上直接计算而不暴露明文。用户可使用预编译模型如 concrete-ml-encrypted-decisiontree 进行隐私保护推理,仅需 CPU 即可运行,当前强制要求 Python 3.10 环境。
Gradio 的 Reload Mode 允许在不重启服务器的情况下实时加载代码变更,适用于快速开发 AI 应用。该模式通过自定义逻辑实现选择性重载,例如使用 gr.NO_RELOAD 标记代码块,避免重新加载耗时的大模型或数据库连接。
Hugging Face 博客解析视觉语言模型(VLM)架构原理,介绍 LLaVA、Qwen-VL 等主流开源模型及其应用场景。指南详细说明了如何使用 transformers 库进行推理,并利用 TRL 的 SFTTrainer 在 llava-instruct 数据集上对 VLM 进行指令微调的完整流程。
推荐理由:提供VLM结构与微调指南,并给出基于TRL的完整代码示例,帮助降低多模态模型使用门槛。
MotherDuck 和 Numbers Station 发布基于 Meta Llama-2-7B 微调的 DuckDB-NSQL-7B 模型,旨在生成 DuckDB SQL 语句。
SetFit 在 Intel Xeon CPU 上通过 🤗 Optimum Intel 的量化技术实现了 7.8 倍推理加速,支持生产级部署。 该方案利用 Optimum Intel 库(版本需 ≥1.14.0)执行后训练静态量化,结合 AVX-512 和 AMX 指令集优化模型运行效率。
Hugging Face 发布了一份面向非技术背景读者的 Transformers 入门指南,旨在帮助零基础用户理解开源机器学习的基本概念。该教程以在 Hugging Face Space 的 JupyterLab 笔记本中运行微软 Phi-2 大语言模型为例,演示了如何配置 NVIDIA A10G GPU 环境并部署模型。
Hugging Face 发布在 Intel Meteor Lake 笔记本上运行 Phi-2 的方案,使用 Intel OpenVINO 和 Optimum Intel 对 microsoft/phi-2 做4-bit 权重量化,再运行在搭载 Core Ultra 7 155H 的中端笔记本上。
Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。
Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
Hugging Face 博客解析 AI 生成内容的水印技术,旨在应对 deepfake 带来的虚假信息风险。文章介绍了在内容生成期间嵌入水印的方法,以及 Glaze、Nightshade 等用于干扰 AI 训练的图像“毒化”工具。此外,还讨论了 C2PA 标准下的图像签名及 Truepic 等工具,以增强内容来源的可验证性。
Matryoshka 嵌入模型允许通过截断向量维度以灵活平衡存储成本、处理速度与性能。Sentence Transformers 已支持通过 MatryoshkaLoss 实现训练,无需显著增加额外时间开销。
该教程展示了如何结合 Hugging Face Transformers 和 PEFT 库,利用 LoRA 对 Google DeepMind 的 Gemma 模型进行参数高效微调。 通过 4-bit 量化(QLoRA)降低显存占用,并支持在 GPU 和 Cloud TPU 上运行。
Hugging Face 在官方博客发布教程,展示如何用 Mixtral-8x7B-Instruct-v0.1 通过 LLM API 标注金融新闻情感数据生成合成数据,再用 AutoTrain 微调 RoBERTa-base 模型。
推荐理由:文章给出可复现的合成数据微调方法,并用成本、延迟和碳排放对比,帮助读者评估该方法的适用边界。
Hugging Face 博客提供 PatchTST 时间序列模型的入门示例,展示其在 Electricity 数据集上的预测能力。 该模型将时间序列切分为 patch 并共享 Transformer 权重,支持迁移学习与零样本预测。
Hugging Face 发布了一整套基于开源 LLM 实现 Constitutional AI 的端到端流程与数据集。该流程无需人工反馈,通过自定义“宪法原则”让模型自我批评和修订有害输出。基于 Mistral-7B 进行的实验表明,CAI 模型在 MT Bench 等基准上保持较高可用性,同时在 DAN 越狱测试中展现出显著更安全的响应表现。
推荐理由:提供可复现的 CAI 训练流程与开源数据集,并验证 CAI 在不损害可用性情况下提升对 DAN 等越狱攻击的鲁棒性。
Hugging Face 团队展示了在 Intel 4th Gen Xeon 上加速 StarCoder-15B 的方法,通过 8 位/4 位量化与推测解码实现最高 7.3 倍 TPOT 提升。量化后 HumanEval pass@1 精度损失极小,推测解码选用 164M 参数 draft 模型,文中给出了 IPEXModelForCausalLM 推理代码示例。
IBM Research 与 Hugging Face 合作在 Transformers 库开源了轻量级时间序列模型 PatchTSMixer。该模型基于 MLP-Mixer 架构,支持预测、分类和回归等任务,在预测任务中比 SOTA MLP 和 Transformer 模型提升 8-60%,内存和运行时减少 2-3 倍。
Meta AI 发布的 Wav2Vec2-BERT 是一款 580M 参数音频模型,在低资源 ASR 场景中比 Whisper-large-v3 快 10 到 30 倍。本文演示使用 Hugging Face Transformers 将 facebook/w2v-bert-2.0 微调至蒙古语 ASR 任务,证明其资源效率更高。
Hugging Face 教程指导将 ComfyUI 工作流转换为纯 Python 脚本并构建 Gradio 应用。流程包括使用 ComfyUI-to-Python-Extension 导出代码,并部署至 Hugging Face Spaces 的 ZeroGPU 服务器less 架构。用户可免费运行 Flux[dev] Redux 等工作流,无需本地 GPU 资源。
Vectara 发布基于 Hugging Face 排行榜模板的 HHEM 幻觉评估排行榜。HHEM 是开源模型,用于衡量 LLM 生成文本的幻觉程度。该指南详细说明了如何使用 leaderboard 模板代码搭建支持动态更新的评估系统,包含数据集管理与后端定制步骤。
Hugging Face 团队介绍了由社区开发的轻量级工具 Unsloth,可将 LLM 微调速度提升至 2 倍并降低 40% 内存占用。该工具通过重写 PyTorch 模块为 Triton 内核优化运算,兼容 Llama 和 Mistral 架构,且支持 TRL 训练器套件。
推荐理由:提供可复现的加速微调方案,实测数据清晰展示了显存与速度优化幅度。
Hugging Face 团队发布了一份关于 SDXL Dreambooth LoRA 微调的最佳实践指南,整合了 Pivotal Tuning 技术和 Prodigy 优化器以显著提升训练效果。
推荐理由:原文提供了一套结合 Pivotal Tuning 和 Prodigy 优化器的 SDXL LoRA 训练实践指南,并附带了可运行的训练脚本与推理方法。
Hugging Face 演示了如何使用推测解码(Speculative Decoding)在保持模型输出不变的前提下,将 Whisper 语音转写推理速度提升约 2 倍。
推荐理由:原文提供了数学保证输出不变的 2 倍加速原理和 Python 实操,读者可直接复用到现有语音转写流程。
Hugging Face 发布技术博客解析混合专家(MoE)模型,以 Mixtral 8x7B 为例拆解 MoE 的路由、稀疏性、训练稳定性和部署优化。文章详细讲解了 Gate 网络的路由逻辑、负载均衡损失,并指出 MoE 在推理时具有更高速度但需要高 VRAM 加载所有参数,微调容易过拟合但适合高频指令调优。
推荐理由:结合 Mixtral 8x7B 的背景,拆解 MoE 的路由、稀疏性、训练稳定性和部署优化逻辑,是掌握大模型架构的实用材料。
Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。
文章对比了 RoBERTa-large(355M 参数)、Llama 2-7B 与 Mistral 7B-v0.1 在灾难推文分类任务中的表现,采用 LoRA 进行参数高效微调,统一最大序列长度为 512 tokens,以探索不同规模模型在序列分类任务中的性能差异。
Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。
Hugging Face 发布教程,演示如何基于 bigcode/starcoder 微调个人代码助手 HugCoder,使用 Hugging Face GitHub 组织公开仓库作为训练数据。
推荐理由:原文完整展示了从 GitHub 仓库提取代码到 QLoRA 与全量微调 StarCoder 的流程,并提供了 1B 模型在本地 M1 芯片运行的可复现步骤。
Renumics Spotlight 允许开发者通过一行代码生成 Hugging Face 数据集的交互式可视化,直接识别数据中的关键聚类。该工具原生支持数据集语义,能结合模型预测结果和嵌入向量,深入分析数据片段及模型失效模式,显著提升了机器学习流程中数据检查的效率与可扩展性。
Hugging Face 团队复现了 OpenAI 的 RLHF 代码库,展示了不同实现细节对模型训练曲线的影响。团队发现 PyTorch 和 TensorFlow 的 Adam 优化器在数值计算上存在差异,导致 PyTorch 的更新更加激进,影响了模型性能。
Hugging Face 测试了提升 SDXL 推理速度与降低内存占用的优化方案。在 A100 GPU 上,结合 fp16、SDPA 及 torch.compile,推理时间从 72.2 秒缩短至 10.2 秒,内存占用从 28GB 降至 21.7GB。
Hugging Face 展示了如何通过 Text Embedding Inference (TEI) 在 Inference Endpoints 上部署开源 Embedding 模型。
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
本文演示如何利用 Hugging Face Inference API 部署 AI Comic Factory。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
教程演示了如何使用 Hugging Face Spaces、AutoTrain 和 ChatUI 在不写代码的情况下,基于 LLaMA 2 7B 微调一个开源 LLM 并部署为可共享的聊天应用。
推荐理由:教程面向零基础读者,演示了如何用 AutoTrain 和 Spaces 微调 LLaMA 2 并部署成聊天应用,适合想了解开源模型部署流程的读者。
Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。
3D Gaussian Splatting 是一种利用高斯点替代三角形网格的实时光栅化技术,能够从少量图像中学习并渲染照片级真实感场景。该技术将 SfM 点云转化为可训练的高斯参数(位置、协方差、颜色、透明度),通过可微光栅化器进行前向渲染与梯度优化,并利用自动加密(分裂/克隆)和剪枝策略提升细节恢复质量。
推荐理由:基于官方开源实现和 COLMAP 流程,拆解 3D Gaussian Splatting 的网格化训练过程及其在现有渲染管线中的适配限制。