Hugging Face 发布 diffusers 的 LoRA 微调支持
Hugging Face 的 diffusers 库正式支持 LoRA(低秩适配)技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层,显著降低了计算资源和显存需求,例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调,且训练得到的权重文件仅约 3 MB,便于共享。
推荐理由:原文给出了LoRA微调的完整实践指南,读者可以据此用更低成本训练和共享自定义模型。
Hugging Face 的 diffusers 库正式支持 LoRA(低秩适配)技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层,显著降低了计算资源和显存需求,例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调,且训练得到的权重文件仅约 3 MB,便于共享。
推荐理由:原文给出了LoRA微调的完整实践指南,读者可以据此用更低成本训练和共享自定义模型。
Stable Diffusion 的 Image2Image 功能被整合进传统工作流,用于生成游戏 2D 资产。该过程以手工绘制的草图作为输入,通过调整 denoising strength 参数控制模型对原始输入的修改程度。教程展示了在不到 10 分钟内生成游戏就绪的玉米图标示例,并提及 Dreambooth 和 LoRA 等模型定制技术。
本文综述了构成 ChatGPT 等对话代理核心的技术术语,包括 RLHF、IFT 和 CoT。文章对比了 Google LaMDA、Meta BlenderBot 3 等模型的参数规模与数据细节,指出指令跟随能力主要依赖指令微调(IFT)。 为解决模型生成不安全回复的问题,开发者在 IFT 后引入监督微调(SFT)以增强安全性。
该教程指出当前基于 NeRF 的文本到 3D 技术尚无法直接用于游戏开发,生成的网格需大量手动后期处理。作者预测未来 NeRF 到网格的转换优化或引擎内直接渲染 NeRF 技术将改变这一现状。
Hugging Face 的 transformers 开源库现已支持 Mask2Former 和 OneFormer 两个通用图像分割模型。OneFormer 通过引入文本编码器,仅在全景分割数据上训练即可在实例、语义和全景分割三个任务上均达到 SOTA 性能。
该文章展示了如何使用 Hugging Face 的 Transformers 和 Datasets 库构建图像相似度系统。系统采用基于 ViT 的 nateraw/vit-base-beans 模型计算图像嵌入向量,通过余弦相似度匹配查询图像与候选集。代码支持并行处理,并可通过 Swin Transformer 或 ConvNeXT 等模型扩展至其他图像数据集。
本教程展示在游戏开发工作流中整合 Stable Diffusion 和 ChatGPT 的方法。Day 2 利用 ChatGPT 生成农场游戏设计建议,并通过 Unity 和 C# 快速构建原型。文章强调将 AI 作为头脑风暴与加速工具,而非替代开发者理解,指出大语言模型在技术细节上可能存在幻觉风险。
文章介绍图机器学习基础,涵盖图的结构定义(节点、边、异质/同质、有向/无向)及其在分子、社交网络、知识图谱等领域的应用。 阐述了图的两种主要表示方式(边集合与邻接矩阵)及置换不变性,区分了归纳式与直推式设置,并简要回顾从传统图特征方法到图神经网络(GNN)及图Transformer的发展脉络。
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 集群通过 IPEX 和 CCL 库加速 PyTorch 训练任务。该方案利用 AMX 指令集加速矩阵乘法,支持 BF16 和 INT8 数据格式,且无需修改现有 Hugging Face 代码即可运行。
该系列教程演示利用 AI 工具在 5 天内构建农场游戏,首日聚焦于确定美术风格。教程使用 Stable Diffusion 生成概念图,并指导读者在 Unity 引擎中构建场景、设置材质与光照。最终在不到一天内完成具备风格化场景的游戏雏形。
Hugging Face 发布教程,展示如何使用 🤗 transformers 调用 CLIPSeg 进行零样本图像分割。该模型基于冻结的 CLIP 表示和 Transformer 解码器,能在无额外训练的情况下生成粗略分割掩码。对于追求高精度的场景,可用 Segments.ai 工具对结果进行细化。
Hugging Face 探讨机器学习偏差的社会背景及应对策略,指出单一技术干预无法解决复杂的偏差问题。文章分析了 ML 系统在部署中可能放大的不平等与偏见风险,并分享了 Hugging Face 团队开发的用于在任务定义、数据整理及模型训练各阶段分析偏差的工具与建议。
Hugging Face 开源库 Datasets 提供一键加载和预处理音频数据集的功能。Hugging Face Hub 平台已收录 77 个语音识别和 28 个音频分类数据集。开发者可通过 load_dataset 函数在单行 Python 代码中下载并处理 GigaSpeech 等数据集,支持流式模式以高效管理数据。
Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍,且支持更大模型微调。测试通过Optimum Habana框架完成,单卡显存为96GB;A100使用fp16,Gaudi使用bf16或fp32。
推荐理由:给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比,读者可以据此判断硬件替代成本。
RLHF 利用人类反馈直接优化大语言模型,使其对齐复杂的人类价值观。该流程包含预训练语言模型、收集数据并训练奖励模型、使用 PPO 强化学习微调语言模型三个核心步骤。Hugging Face 介绍了当前活跃的开源工具 TRL、TRLX 和 RL4LMs,并梳理了该领域的发展脉络、现存挑战及后续方向。
推荐理由:将多模型协同训练的复杂机制拆解为三阶段并梳理开源工具,帮助读者建立对RLHF完整管线的实操理解。
Hugging Face 发布教程,指导生物学家和机器学习人员利用类 BERT/GPT 的蛋白质语言模型及 ESMFold 进行蛋白质折叠与微调。教程提供 PyTorch 和 TensorFlow 示例 notebook,并重点解析迁移学习机制。 文章强调迁移学习在 2018 年成为自然语言处理突破,其核心是在丰富数据上预训练后复用网络结构,能带来超过 100 倍的训练数据效率提升。
Hugging Face Transformers 库内置了名为 Time Series Transformer 的模型,用于单变量概率时间序列预测。该模型采用 Encoder-Decoder 架构,结合 Ancestral Sampling 生成预测,并支持处理缺失值。
Hugging Face 将 Stable Diffusion 转换为 Core ML 模型并开放在 Hugging Face Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可运行在 CPU、GPU 和 Apple Neural Engine 上。
Hugging Face 将于 11 月 28 日发布免费扩散模型课程,并在 11 月 30 日举办线上活动。 Stability AI 的 David Ha、Meta 的 Devi Parikh 及 Runway 的 Patrick Esser 等将在活动中演讲,探讨 Stable Diffusion 的应用。
Hugging Face 文章展示了如何使用开源模型构建免费的定制化文档 AI 解决方案,涵盖 OCR、图像分类及文档问答等六大用例。多模态 Transformer 模型如 LayoutLMv3 和 Donut 在 RVL-CDIP 基准上达到 95% 准确率,显著优于 BERT 模型。
Hugging Face 推出包含免费 Inference Widget、Inference API 及生产级 Inference Endpoints 的完整推理方案。
该教程展示如何利用 Concrete-ML 库在全同态加密环境下构建情绪分析模型,无需解密即可对加密文本进行预测。教程使用 Hugging Face 的 Transformer 模型提取文本隐藏表示,结合 XGBoost 进行训练,并演示了通过客户端/服务器协议将模型部署到云端的完整流程。
Hugging Face 在 transformers 库中新增了 Contrastive Search 解码方法,支持 PyTorch 和 TensorFlow。该方法在模型置信度基础上引入退化惩罚,以缓解贪心搜索的重复问题和随机采样的语义不连贯。文中展示了使用 GPT-2 和 OPT 模型时,对比搜索生成的文本在流畅性和事实准确性上均优于传统方法。
Hugging Face在Diffusers下训练Stable Diffusion进行Dreambooth微调,并给出学习率、训练步数与prior preservation等参数建议。
推荐理由:基于Diffusers实验给出学习率、步数与prior preservation等关键参数建议,并比较DDIM采样与text encoder微调的效果。
Hugging Face 发布教程,演示如何使用 Transformers 库微调 OpenAI 的 Whisper 模型以适配多语言语音识别。教程以 Common Voice 11.0 中的印地语数据为例,展示了从数据准备、特征提取到模型训练的全流程。使用约 8 小时的小规模数据对 Whisper small 进行微调后,模型在测试集上的词错误率从 63.5% 降至 32.0%。
Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO,支持使用 Transformers 模型在多种 Intel 处理器上进行推理。
Hugging Face 在其 Evaluate 库中新增了偏差指标,用于评估因果语言模型(CLM)如 GPT-2 和 BLOOM 的生成偏差。 开发者可通过预定义提示词生成文本,并利用 Toxicity、Polarity 和 Hurtfulness 三个任务进行测量。 示例显示,简单的代词差异可能导致模型补全的毒性分数不同,如女性代词补全的毒性比率高达 0.3333。
该教程以 MNIST 训练为例,展示了如何在 PyTorch 中实现分布式训练。 它通过三个抽象层级演示:使用原生 PyTorch 的 `torch.distributed` 模块,利用 🤗 Accelerate 的轻量级包装器实现跨设备最小化代码修改,以及使用 🤗 Transformers 的高层 Trainer API 抽象样板代码。
Hugging Face 新推出 Inference Endpoints 服务,允许用户将模型直接从 Hugging Face hub 部署至托管基础设施,仅需几次点击即可完成。该服务支持 Public、Protected 和 Private 三种访问级别,其中 Private 模式通过 AWS PrivateLink 和 VPC Endpoint 实现网络隔离与访问控制。
Hugging Face Diffusers 支持 Flax 框架,允许在 Google TPU 上对 Stable Diffusion 进行快速推理。教程演示了通过 jax.pmap 在 TPU v2 的 8 个设备上并行生成图像,首次编译耗时较长,但后续推理仅需约 7 秒。
Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。
Hugging Face 为 AutoTrain 新增图像分类(Image Classification)任务,支持零代码训练视觉模型。用户可上传数据或使用 Hugging Face Hub 数据集,选择候选模型数量后自动训练并筛选最佳模型。训练少于 500 张图像且使用 5 个候选模型即可免费,最佳模型可达 84% 准确率。
Hugging Face 发布教程,解释 Accelerate 如何利用 PyTorch 的 meta device 机制和分片检查点格式,解决超大模型(如 BLOOM、OPT)因内存不足无法加载的问题。
在 8x80GB A100 硬件配置下,使用 DeepSpeed-Inference 运行 176B BLOOM 模型可实现低于 1 毫秒的每 token 吞吐速度。
Hugging Face 发布教程,指导用户利用 transformers 库和 Google Colab 从零训练离线 Decision Transformer 模型。该模型基于 GPT-2 架构,将强化学习抽象为条件序列建模问题,通过预测未来动作实现目标回报。教程演示了使用 Gym HalfCheetah 专家数据集及自定义 Data Collator 进行离线 RL 训练的完整流程。
Hugging Face 发布技术教程,详解如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上预训练 GPT2 模型。教程涵盖环境搭建、数据预处理及训练全流程,解析了 Megatron-LM 通过高效 DataLoader 和融合 CUDA 内核优化训练速度的技术原理。
教程展示了如何在 Hugging Face Spaces 中集成 3Dmol.js 以可视化蛋白质结构。核心步骤是通过 Gradio HTML 组件创建 iframe 加载 3Dmol.js,并解析 PDB 文件坐标。文中推荐安装 gradio_molecule3d 组件以优化交互体验,并提供了基于 RCSB 数据库获取结构的完整代码示例。
本教程演示如何利用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS 的 Habana Gaudi DL1 实例上通过掩码语言建模从零预训练 BERT-base。教程涵盖了数据集准备、训练新 Tokenizer 以及预处理等步骤,旨在利用 Gaudi 架构的成本性能优势加速模型开发。
Hugging Face 发布博客,指导如何使用 Diffusers 库运行 Stable Diffusion 模型并自定义推理管道。
推荐理由:详解Stable Diffusion在Diffusers中的调用与底层机制,提供完整代码示例与自定义管道方法,适合开发者快速上手图像生成。
该教程展示了如何将 Hugging Face 的 ViT B/16 TensorFlow 模型部署至 Google Vertex AI 平台。 通过 google-cloud-aiplatform Python SDK 执行模型上传、端点创建及部署,利用 Vertex AI Model Registry 实现模型版本管理与自动扩缩容,无需编写大量代码即可实现 Kubernetes 级别的扩展性。