如何使用 Diffusers 在免费层级 Google Colab 上运行 IF
该教程展示了如何利用 diffusers 在免费层级 Google Colab 上运行 IF 模型。IF 是在像素空间工作的文本转图像模型,参数量达 10B,相比 Stable Diffusion 具有更高细节生成能力。通过 bitsandbytes 8-bit 量化及模块化加载组件,可在 13GB CPU RAM 和 15GB GPU VRAM 的限制下完成推理。
该教程展示了如何利用 diffusers 在免费层级 Google Colab 上运行 IF 模型。IF 是在像素空间工作的文本转图像模型,参数量达 10B,相比 Stable Diffusion 具有更高细节生成能力。通过 bitsandbytes 8-bit 量化及模块化加载组件,可在 13GB CPU RAM 和 15GB GPU VRAM 的限制下完成推理。
Hugging Face 推出面向中文用户的官方博客(hf.co/blog/zh),由志愿者翻译了关于 Transformer、扩散模型和强化学习等主题的博文及课程,旨在服务不断壮大的中国 AI 社区并促进协作。
教程展示如何使用 Hugging Face Space 托管可玩的 Unity 游戏。首先使用 Git 克隆基于 Static HTML 模板创建的空间,将 Unity 项目的 Build Target 切换为 WebGL 并构建。随后将生成文件推送到仓库,最后启用 Git-LFS 处理大文件以便在 Space 中直接体验游戏。
AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。
本文通过 Hugging Face 的 Graphormer 模型,演示了利用 Transformers 库进行图分类的完整流程。教程涵盖了从 Hugging Face Hub 加载 OGB 数据集、定义图数据格式,到对预训练模型进行微调以适配二分类任务的具体步骤。
Hugging Face 与 Substra 合作创建了隐私保护 AI 空间,旨在展示联邦学习在解决数据孤岛问题中的价值。联邦学习作为一种去中心化机器学习技术,允许模型在不集中存储原始数据的前提下,通过跨服务器交换模型权重进行训练,从而提升数据隐私性和模型鲁棒性。
Snorkel AI 与 Hugging Face 合作,通过集成 Hugging Face Inference Endpoint 服务增强 Snorkel Flow 平台功能。该集成支持用户灵活调用超过 150,000 个开源模型,并提供“暂停与恢复”的模型 API 能力,帮助企业以可控成本将基础模型应用于生产环境。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。
推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。
Hugging Face 发布伦理通讯,旨在通过平衡开放性与风险控制来民主化良好的机器学习。平台建立包含严谨、包容等维度的伦理标签体系,并推出模型卡与 RAIL 许可证以强化透明度和使用规范。同时引入社区标记功能,允许用户举报违规内容,以协作方式最小化潜在伤害。
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
该教程演示如何利用 Hugging Face 和 Flower 框架在多个客户端上对语言模型进行联邦学习。 具体实现为在 IMDB 评分数据集上微调预训练的 distilBERT 模型,以检测电影评论的正负倾向。 该过程通过 Flower 框架简化了多客户端参数聚合,并提供了基于 Google Colab 的模拟功能 Notebook。
Hugging Face 官方博客发布了使用 diffusers 库训练 ControlNet 控制网络的详细教程。作者以训练“Uncanny Faces”模型为例,展示了利用 FaceSynthetics 数据集和 SPIGA 模型生成面部关键点条件图,再到使用 A100 GPU 进行微调的全流程。
Informer 模型现已在 Hugging Face Transformers 中可用,支持基于独立发射分布的多元概率时间序列预测。 该模型引入 ProbSparse attention 将自注意力计算复杂度降至 O(T log T),并通过 Distilling 操作将堆叠层的内存占用优化为 O(N·T log T)。
Hugging Face 官方发布 trl 与 peft 的集成更新,实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用,在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型,展示了消费级硬件参与大规模模型训练的可能性。
推荐理由:将 LoRA 与 8-bit 量化结合,让消费级 GPU 承担 20B 模型微调,为资源有限的团队降低 RLHF 落地门槛。
Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。
Hugging Face 发布教程,介绍如何在 Diffusers 中使用 ControlNet 实现可控图像生成。教程演示了利用 Canny 边缘、OpenPose 姿态及多条件组合控制 Stable Diffusion 生成结果的代码实现,并展示了如何通过启用 CPU 内存卸载及 xformers 加速将推理时间缩短至 V100 GPU 上的约 3 秒。
推荐理由:原文提供了在 Diffusers 中结合 ControlNet 实现可控图像生成的具体代码示例与优化技巧。
Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。
红队测试是评估大型语言模型(LLM)漏洞的关键方法,旨在通过构造自然语言提示词诱导模型生成有害内容,区别于针对分类任务的对抗性攻击。该过程依赖人工或自动化LM进行创意性攻击,以解决模型在安全性对齐后仍可能产生的偏见或恶意输出问题,是保障LLM部署安全性的基础。
Hugging Face 发布了 Swift 编写的 Mac 原生应用 Diffusers,可将社区文本生成图像模型转换为 Core ML 格式,利用 GPU 或 Neural Engine 实现本地生图。最新 1.1 版本在 Mac App Store 上线,性能较前版显著提升且生成速度最高可达两倍。
Hugging Face 与 Amazon Web Services 扩大长期战略合作,旨在通过云工具降低机器学习模型构建、训练和部署的成本,使下一代模型对开发者更易于访问。开发者将利用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 等工具,以便在几个点击内微调并部署 Hugging Face 上的模型。
Hugging Face 博客分享了其内部机器学习模型部署架构迁移的经验,决定将基于 CPU 的推理服务从 AWS ECS 切换至 Hugging Face Inference Endpoints。
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers,支持零样本图像描述、带提示的图像描述、视觉问答和聊天式提示。
推荐理由:解释了BLIP-2如何用轻量级Q-Former桥接图像编码器和大语言模型,给出了零样本图像描述、问答和聊天式提示的完整代码流程。
Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。
推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
Hugging Face 开源发布 AI vs. AI 系统,利用 ELO 评分机制对 Hub 上的多智能体强化学习模型进行相对实力排名。该系统通过 Spaces 自动匹配并运行模拟对战,根据胜负结果动态更新模型 ELO 分数,无需传统指标即可评估策略质量。首批应用为 Deep RL 课程中的 SoccerTwos 挑战,用户将训练模型推至 Hub 即可参与排名。
本文演示在 Hugging Face 发布的系列教程第五部分中,如何利用 ChatGPT 为种田游戏生成故事大纲及物品描述。作者指出语言模型在长文本创作中存在质量下降和重复的局限,并建议将其用于头脑风暴而非直接商用。教程同时提及 Character.AI 等新兴对话智能体在个性化游戏角色互动中的应用潜力。
本文通过基准测试验证了 Hugging Face Optimum Intel 在 Intel Sapphire Rapids CPU 上加速 PyTorch 模型推理的效果。测试涵盖 distilbert-base-uncased、bert-base-uncased 和 roberta-base 等 NLP 模型,结果显示使用 Optimum Intel 库能显著提升短长序列的分类任务预测性能。
联合视觉语言模型通过整合图像与文本模态,在零样本泛化任务中展现出显著效果。这些模型通常包含图像编码器、文本编码器及融合策略,并主要采用对比学习、PrefixLM 等预训练目标进行训练。Hugging Face 的 Transformers 库支持此类最新进展的实验与部署。
Hugging Face Hub 已支持 8 类核心计算机视觉任务,涵盖图像分类、分割、目标检测、深度估计等,拥有超 3000 个模型和 100+ 数据集。生态内集成 timm、Diffusers 等第三方库,支持通过 Transformers Trainer API 进行微调,并兼容 MAE、CLIP 等预训练策略。
Hugging Face 的 diffusers 库正式支持 LoRA(低秩适配)技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层,显著降低了计算资源和显存需求,例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调,且训练得到的权重文件仅约 3 MB,便于共享。
推荐理由:原文给出了LoRA微调的完整实践指南,读者可以据此用更低成本训练和共享自定义模型。
Stable Diffusion 的 Image2Image 功能被整合进传统工作流,用于生成游戏 2D 资产。该过程以手工绘制的草图作为输入,通过调整 denoising strength 参数控制模型对原始输入的修改程度。教程展示了在不到 10 分钟内生成游戏就绪的玉米图标示例,并提及 Dreambooth 和 LoRA 等模型定制技术。
本文综述了构成 ChatGPT 等对话代理核心的技术术语,包括 RLHF、IFT 和 CoT。文章对比了 Google LaMDA、Meta BlenderBot 3 等模型的参数规模与数据细节,指出指令跟随能力主要依赖指令微调(IFT)。 为解决模型生成不安全回复的问题,开发者在 IFT 后引入监督微调(SFT)以增强安全性。
Hugging Face 和 Microsoft ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 来加速大型语言、语音和视觉模型的微调。
该教程指出当前基于 NeRF 的文本到 3D 技术尚无法直接用于游戏开发,生成的网格需大量手动后期处理。作者预测未来 NeRF 到网格的转换优化或引擎内直接渲染 NeRF 技术将改变这一现状。
Hugging Face 的 transformers 开源库现已支持 Mask2Former 和 OneFormer 两个通用图像分割模型。OneFormer 通过引入文本编码器,仅在全景分割数据上训练即可在实例、语义和全景分割三个任务上均达到 SOTA 性能。
Hugging Face 宣布与百度 PaddlePaddle 开展开源合作,将 PaddlePaddle 模型库接入 Hugging Face Hub。用户可在 Hub 上找到超过 75 个 PaddlePaddle 模型(包括 ERNIE 3.0、UIE、PaddleOCR 等),并通过 Inference API 和交互 widget 直接调用。
该文章展示了如何使用 Hugging Face 的 Transformers 和 Datasets 库构建图像相似度系统。系统采用基于 ViT 的 nateraw/vit-base-beans 模型计算图像嵌入向量,通过余弦相似度匹配查询图像与候选集。代码支持并行处理,并可通过 Swin Transformer 或 ConvNeXT 等模型扩展至其他图像数据集。
文章介绍图机器学习基础,涵盖图的结构定义(节点、边、异质/同质、有向/无向)及其在分子、社交网络、知识图谱等领域的应用。 阐述了图的两种主要表示方式(边集合与邻接矩阵)及置换不变性,区分了归纳式与直推式设置,并简要回顾从传统图特征方法到图神经网络(GNN)及图Transformer的发展脉络。
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 集群通过 IPEX 和 CCL 库加速 PyTorch 训练任务。该方案利用 AMX 指令集加速矩阵乘法,支持 BF16 和 INT8 数据格式,且无需修改现有 Hugging Face 代码即可运行。