使用 Inference Endpoints 快速部署 MusicGen
Hugging Face 博客介绍了如何使用 Inference Endpoints 部署音乐生成模型 MusicGen。通过编写自定义 handler 处理不支持 transformers 高层 pipeline 的模型,利用 custom handlers 实现推理功能。
Hugging Face 博客介绍了如何使用 Inference Endpoints 部署音乐生成模型 MusicGen。通过编写自定义 handler 处理不支持 transformers 高层 pipeline 的模型,利用 custom handlers 实现推理功能。
Zama 利用全同态加密技术实现 GPT2 模型的加密推理,在保护用户数据隐私的同时防止模型知识产权泄露。通过 Hugging Face Transformers 库和 Concrete-Python 改造 GPT2 的注意力机制,4 比特量化方案在约 80 句数据集上保留了 96% 的原始准确率。
Hugging Face 团队利用机器学习检测 Hub 中缺失语言元数据的 Dataset 语言,并通过 librarian-bots 自动提交 Pull Request 补充信息。实验使用 Meta 发布的 fastText 模型识别 217 种语言,目前 Hub 上约 87% 的公开 Dataset 未指定语言,该项目旨在提升特定语言 Dataset 的可发现性。
该指南介绍利用生成式AI制作PS1风格3D资产的七步工作流。使用开源模型Shap-E将文本生成3D模型,在Blender 3.1中通过Decimate修改器降低多边形数量,并安装Dream Textures插件基于Stable Diffusion生成无缝纹理。最终完成UV映射并导出FBX格式,导入Unity后可通过顶点光照和特效呈现复古美学,展示了低保真3D生成的实际可行性。
Segmind 开源了 SD-Small 和 SD-Tiny 模型的知识蒸馏代码及预训练权重。这两个压缩模型分别比基础模型减少 35% 和 55% 的参数,推理速度最高提升 100%,且输出图像保真度可比。目前模型处于早期阶段,更适合用于特定概念或风格的微调及 LoRA 训练。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。
推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。
Hugging Face 联合 Creative Commons 等机构发布立场文件,建议欧盟 AI 法案明确开源 AI 组件的协作开发与公共仓库分发不受法案特定要求约束。文件还提议确保研发例外条款在现实测试中具备实用性,并对基础模型实行差异化比例监管要求,以支持开放生态的透明度与创新能力。
Hugging Face 发布新库 Agents.js,允许在浏览器或服务器端通过 JavaScript 为 LLM 提供工具访问。该库默认使用 OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 模型,并内置多模态工具,支持通过 npm 安装扩展自定义 LLM 和工具。
Hugging Face 举办首届开源 AI 游戏 Jam,收到 88 款游戏提交,最终由 ohmlet 团队开发的《Snip It》获得冠军。参赛作品主要集成 Stable Diffusion、GPT-4 等开源工具,主题定为“EXPANDING”,评测标准涵盖趣味性、创造力及主题契合度。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
本教程展示了如何利用 Intel Sapphire Rapids CPU 上的 AMX 硬件加速器,在纯 CPU 集群上微调 Stable Diffusion 模型。该过程使用 textual inversion 技术,仅通过 5 张示例图像即可完成训练,无需 GPU 基础设施。
教程演示如何使用 Transformers.js 在浏览器中完全本地运行 ML 网页游戏 Doodle Dash。该游戏基于 Google Quick, Draw! 数据集微调了 5.6M 参数的 apple/mobilevit-small 模型,通过 Web Workers 实现每秒 60 次以上的实时推理预测。
Sayak Paul 介绍了如何借鉴 FLAN V2 指令微调方法扩展 InstructPix2Pix,使其能按指令完成卡通化、去雨、去噪、低光增强等图像任务。
Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。
BigCode 项目采用 MinHash + LSH 算法对代码数据集进行文档级近似去重,以解决数据重复及基准测试污染问题。去重不仅提升了训练效率,还通过减少数千吉字节数据的存储与传输成本,增强了数据的可访问性。该方法已应用于 BigScience 和 BigCode 数据集,有效降低了模型对训练数据逐字输出的风险。
本文介绍如何在单张AMD GPU上使用ROCm运行开源大语言模型Vicuna 13B。该模型由LLaMA基础模型微调而来,使用约70,000条用户对话数据,训练成本约300美元。文中详细说明了使用GPTQ 4位量化版本以降低显存需求,并提供了在ROCm 5.4.3和PyTorch 2.0环境下部署与推理的步骤。
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
Hugging Face 发布新的文本生成解码方法 assisted generation,利用更小的 assistant 模型先批量生成候选 token,再由主模型一次前向验证。
Hugging Face 展示了如何利用 BigCode 的 StarCoder 创建个性化编码助手 StarChat。StarCoder 是拥有 16B 参数量的开源模型,支持 8,192 token 上下文窗口,采用企业友好许可证。通过采用 ChatML 格式并配合 🤗 Transformers 与 DeepSpeed ZeRO-3 进行微调,可将其转化为对话式编码智能体。
Hugging Face 发布技术长文,解析文本生成视频(text-to-video)的技术演变与当前挑战。文章指出,该任务因时空一致性要求极高且缺乏高质量配对数据集,难度远超文本生成图像。
Hugging Face 推出代码大语言模型 StarCoder,基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型,StarCoder 进一步在 35B Python token 上微调得到。
推荐理由:官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩,并给出了多语言与辅助对话的应用潜力。
Hugging Face Unity API 作为 Hugging Face Inference API 的集成工具,允许开发者在 Unity 项目中通过 Git URL 安装并配置 API 键以访问模型。该工具支持文本生成、对话、文本转图像及语音识别等多项任务,并支持通过修改模型端点使用自定义模型。API 采用异步调用机制,开发者可通过切换至资源占用更低的模型端点来优化响应速度。
Hugging Face 发布指南,展示如何使用 TensorFlow 和 TPU 从头训练掩码语言模型。教程涵盖从训练 Unigram 分词器到数据准备及最终模型训练上传的全流程,默认使用 BERT 大小的模型。通过利用 XLA 和 TPUStrategy,大部分 Hugging Face 模型可轻松在 TPU 上运行,无需复杂配置。
Databricks 向 Hugging Face 代码库提交首个官方版本,支持通过新函数 `from_spark` 直接从 Apache Spark 数据帧创建 Hugging Face 数据集。
该教程展示了如何利用 diffusers 在免费层级 Google Colab 上运行 IF 模型。IF 是在像素空间工作的文本转图像模型,参数量达 10B,相比 Stable Diffusion 具有更高细节生成能力。通过 bitsandbytes 8-bit 量化及模块化加载组件,可在 13GB CPU RAM 和 15GB GPU VRAM 的限制下完成推理。
Hugging Face 推出面向中文用户的官方博客(hf.co/blog/zh),由志愿者翻译了关于 Transformer、扩散模型和强化学习等主题的博文及课程,旨在服务不断壮大的中国 AI 社区并促进协作。
教程展示如何使用 Hugging Face Space 托管可玩的 Unity 游戏。首先使用 Git 克隆基于 Static HTML 模板创建的空间,将 Unity 项目的 Build Target 切换为 WebGL 并构建。随后将生成文件推送到仓库,最后启用 Git-LFS 处理大文件以便在 Space 中直接体验游戏。
AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。
本文通过 Hugging Face 的 Graphormer 模型,演示了利用 Transformers 库进行图分类的完整流程。教程涵盖了从 Hugging Face Hub 加载 OGB 数据集、定义图数据格式,到对预训练模型进行微调以适配二分类任务的具体步骤。
Hugging Face 与 Substra 合作创建了隐私保护 AI 空间,旨在展示联邦学习在解决数据孤岛问题中的价值。联邦学习作为一种去中心化机器学习技术,允许模型在不集中存储原始数据的前提下,通过跨服务器交换模型权重进行训练,从而提升数据隐私性和模型鲁棒性。
Snorkel AI 与 Hugging Face 合作,通过集成 Hugging Face Inference Endpoint 服务增强 Snorkel Flow 平台功能。该集成支持用户灵活调用超过 150,000 个开源模型,并提供“暂停与恢复”的模型 API 能力,帮助企业以可控成本将基础模型应用于生产环境。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。
推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。
Hugging Face 发布伦理通讯,旨在通过平衡开放性与风险控制来民主化良好的机器学习。平台建立包含严谨、包容等维度的伦理标签体系,并推出模型卡与 RAIL 许可证以强化透明度和使用规范。同时引入社区标记功能,允许用户举报违规内容,以协作方式最小化潜在伤害。
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
该教程演示如何利用 Hugging Face 和 Flower 框架在多个客户端上对语言模型进行联邦学习。 具体实现为在 IMDB 评分数据集上微调预训练的 distilBERT 模型,以检测电影评论的正负倾向。 该过程通过 Flower 框架简化了多客户端参数聚合,并提供了基于 Google Colab 的模拟功能 Notebook。
Hugging Face 官方博客发布了使用 diffusers 库训练 ControlNet 控制网络的详细教程。作者以训练“Uncanny Faces”模型为例,展示了利用 FaceSynthetics 数据集和 SPIGA 模型生成面部关键点条件图,再到使用 A100 GPU 进行微调的全流程。
Informer 模型现已在 Hugging Face Transformers 中可用,支持基于独立发射分布的多元概率时间序列预测。 该模型引入 ProbSparse attention 将自注意力计算复杂度降至 O(T log T),并通过 Distilling 操作将堆叠层的内存占用优化为 O(N·T log T)。
Hugging Face 官方发布 trl 与 peft 的集成更新,实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用,在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型,展示了消费级硬件参与大规模模型训练的可能性。
推荐理由:将 LoRA 与 8-bit 量化结合,让消费级 GPU 承担 20B 模型微调,为资源有限的团队降低 RLHF 落地门槛。
Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。