Gradio-Lite:完全在浏览器中运行的无服务器 Gradio
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
本文演示如何利用 Hugging Face Inference API 部署 AI Comic Factory。
教程演示了如何使用 Hugging Face Spaces、AutoTrain 和 ChatUI 在不写代码的情况下,基于 LLaMA 2 7B 微调一个开源 LLM 并部署为可共享的聊天应用。
推荐理由:教程面向零基础读者,演示了如何用 AutoTrain 和 Spaces 微调 LLaMA 2 并部署成聊天应用,适合想了解开源模型部署流程的读者。
Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。
3D Gaussian Splatting 是一种利用高斯点替代三角形网格的实时光栅化技术,能够从少量图像中学习并渲染照片级真实感场景。该技术将 SfM 点云转化为可训练的高斯参数(位置、协方差、颜色、透明度),通过可微光栅化器进行前向渲染与梯度优化,并利用自动加密(分裂/克隆)和剪枝策略提升细节恢复质量。
推荐理由:基于官方开源实现和 COLMAP 流程,拆解 3D Gaussian Splatting 的网格化训练过程及其在现有渲染管线中的适配限制。
Hugging Face 发布 Object Detection Leaderboard,对 Hub 上的目标检测模型进行排名。该榜单基于 Average Precision 和 Average Recall 指标,深入解析 Intersection over Union 计算方法,并揭示模型评估中的潜在分歧。
Hugging Face 技术博客详细解析了 LLM 在生产环境中的优化方法,涵盖低精度量化、Flash Attention 及架构改进。
推荐理由:文章系统展示了量化、Flash Attention 和架构优化在长上下文推理中的实际内存与速度收益,为工程落地提供直接参考。
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。
消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。
AudioLDM 2 在 Hugging Face Diffusers 中通过代码和模型优化实现了超 10 倍推理速度提升。具体方法包括使用 PyTorch 2.0 SDPA 实现 Flash Attention、启用 float16 半精度计算、应用 torch.compile 以及切换至 DPMSolverMultistepScheduler 减少推理步数。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 发布教程,演示如何使用 Better Transformer、fp16 和 CPU offload 优化 Bark 模型。基准测试显示,组合三种优化可将 Bark-large 的内存占用从 5GB 降至 2GB,速度提升 15%;批量处理时吞吐量最高提升 87%。
本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。
Hugging Face 在 TRL 库中引入了 DPO(Direct Preference Optimization)功能,允许开发者跳过复杂的 RLHF 奖励模型构建环节,直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练,并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由:教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2,提供了可直接运行的 QLoRA 训练代码。
Hugging Face 博客介绍了如何使用 Inference Endpoints 部署音乐生成模型 MusicGen。通过编写自定义 handler 处理不支持 transformers 高层 pipeline 的模型,利用 custom handlers 实现推理功能。
该指南介绍利用生成式AI制作PS1风格3D资产的七步工作流。使用开源模型Shap-E将文本生成3D模型,在Blender 3.1中通过Decimate修改器降低多边形数量,并安装Dream Textures插件基于Stable Diffusion生成无缝纹理。最终完成UV映射并导出FBX格式,导入Unity后可通过顶点光照和特效呈现复古美学,展示了低保真3D生成的实际可行性。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。
推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
本教程展示了如何利用 Intel Sapphire Rapids CPU 上的 AMX 硬件加速器,在纯 CPU 集群上微调 Stable Diffusion 模型。该过程使用 textual inversion 技术,仅通过 5 张示例图像即可完成训练,无需 GPU 基础设施。
教程演示如何使用 Transformers.js 在浏览器中完全本地运行 ML 网页游戏 Doodle Dash。该游戏基于 Google Quick, Draw! 数据集微调了 5.6M 参数的 apple/mobilevit-small 模型,通过 Web Workers 实现每秒 60 次以上的实时推理预测。
本文介绍如何在单张AMD GPU上使用ROCm运行开源大语言模型Vicuna 13B。该模型由LLaMA基础模型微调而来,使用约70,000条用户对话数据,训练成本约300美元。文中详细说明了使用GPTQ 4位量化版本以降低显存需求,并提供了在ROCm 5.4.3和PyTorch 2.0环境下部署与推理的步骤。
Hugging Face 展示了如何利用 BigCode 的 StarCoder 创建个性化编码助手 StarChat。StarCoder 是拥有 16B 参数量的开源模型,支持 8,192 token 上下文窗口,采用企业友好许可证。通过采用 ChatML 格式并配合 🤗 Transformers 与 DeepSpeed ZeRO-3 进行微调,可将其转化为对话式编码智能体。
Hugging Face 发布技术长文,解析文本生成视频(text-to-video)的技术演变与当前挑战。文章指出,该任务因时空一致性要求极高且缺乏高质量配对数据集,难度远超文本生成图像。
Hugging Face Unity API 作为 Hugging Face Inference API 的集成工具,允许开发者在 Unity 项目中通过 Git URL 安装并配置 API 键以访问模型。该工具支持文本生成、对话、文本转图像及语音识别等多项任务,并支持通过修改模型端点使用自定义模型。API 采用异步调用机制,开发者可通过切换至资源占用更低的模型端点来优化响应速度。
Hugging Face 发布指南,展示如何使用 TensorFlow 和 TPU 从头训练掩码语言模型。教程涵盖从训练 Unigram 分词器到数据准备及最终模型训练上传的全流程,默认使用 BERT 大小的模型。通过利用 XLA 和 TPUStrategy,大部分 Hugging Face 模型可轻松在 TPU 上运行,无需复杂配置。
该教程展示了如何利用 diffusers 在免费层级 Google Colab 上运行 IF 模型。IF 是在像素空间工作的文本转图像模型,参数量达 10B,相比 Stable Diffusion 具有更高细节生成能力。通过 bitsandbytes 8-bit 量化及模块化加载组件,可在 13GB CPU RAM 和 15GB GPU VRAM 的限制下完成推理。
教程展示如何使用 Hugging Face Space 托管可玩的 Unity 游戏。首先使用 Git 克隆基于 Static HTML 模板创建的空间,将 Unity 项目的 Build Target 切换为 WebGL 并构建。随后将生成文件推送到仓库,最后启用 Git-LFS 处理大文件以便在 Space 中直接体验游戏。
本文通过 Hugging Face 的 Graphormer 模型,演示了利用 Transformers 库进行图分类的完整流程。教程涵盖了从 Hugging Face Hub 加载 OGB 数据集、定义图数据格式,到对预训练模型进行微调以适配二分类任务的具体步骤。
Hugging Face 与 Substra 合作创建了隐私保护 AI 空间,旨在展示联邦学习在解决数据孤岛问题中的价值。联邦学习作为一种去中心化机器学习技术,允许模型在不集中存储原始数据的前提下,通过跨服务器交换模型权重进行训练,从而提升数据隐私性和模型鲁棒性。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。
推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
该教程演示如何利用 Hugging Face 和 Flower 框架在多个客户端上对语言模型进行联邦学习。 具体实现为在 IMDB 评分数据集上微调预训练的 distilBERT 模型,以检测电影评论的正负倾向。 该过程通过 Flower 框架简化了多客户端参数聚合,并提供了基于 Google Colab 的模拟功能 Notebook。
Hugging Face 官方博客发布了使用 diffusers 库训练 ControlNet 控制网络的详细教程。作者以训练“Uncanny Faces”模型为例,展示了利用 FaceSynthetics 数据集和 SPIGA 模型生成面部关键点条件图,再到使用 A100 GPU 进行微调的全流程。
Informer 模型现已在 Hugging Face Transformers 中可用,支持基于独立发射分布的多元概率时间序列预测。 该模型引入 ProbSparse attention 将自注意力计算复杂度降至 O(T log T),并通过 Distilling 操作将堆叠层的内存占用优化为 O(N·T log T)。
Hugging Face 发布教程,介绍如何在 Diffusers 中使用 ControlNet 实现可控图像生成。教程演示了利用 Canny 边缘、OpenPose 姿态及多条件组合控制 Stable Diffusion 生成结果的代码实现,并展示了如何通过启用 CPU 内存卸载及 xformers 加速将推理时间缩短至 V100 GPU 上的约 3 秒。
推荐理由:原文提供了在 Diffusers 中结合 ControlNet 实现可控图像生成的具体代码示例与优化技巧。
Hugging Face 博客分享了其内部机器学习模型部署架构迁移的经验,决定将基于 CPU 的推理服务从 AWS ECS 切换至 Hugging Face Inference Endpoints。
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers,支持零样本图像描述、带提示的图像描述、视觉问答和聊天式提示。
推荐理由:解释了BLIP-2如何用轻量级Q-Former桥接图像编码器和大语言模型,给出了零样本图像描述、问答和聊天式提示的完整代码流程。
本文演示在 Hugging Face 发布的系列教程第五部分中,如何利用 ChatGPT 为种田游戏生成故事大纲及物品描述。作者指出语言模型在长文本创作中存在质量下降和重复的局限,并建议将其用于头脑风暴而非直接商用。教程同时提及 Character.AI 等新兴对话智能体在个性化游戏角色互动中的应用潜力。
联合视觉语言模型通过整合图像与文本模态,在零样本泛化任务中展现出显著效果。这些模型通常包含图像编码器、文本编码器及融合策略,并主要采用对比学习、PrefixLM 等预训练目标进行训练。Hugging Face 的 Transformers 库支持此类最新进展的实验与部署。