使用 PyTorch FSDP 微调 Llama 2 70B
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。
Hugging Face 发布的企业级代码助手 SafeCoder 基于 StarCoder 模型,提供透明度、定制性与隐私保护,区别于 GitHub Copilot 等闭源服务。
Diffusers 团队与作者合作,在 Diffusers 中实现了 Stable Diffusion XL (SDXL) 对 T2I-Adapter 的支持。
Hugging Face 正式发布 TII 开发的开源大语言模型 Falcon 180B,该模型拥有 1800 亿参数,使用了 3.5 万亿 tokens 进行预训练。
推荐理由:Falcon 180B 是当时最大的开源语言模型,在 Hugging Face 生态中提供了完整的部署和微调指南。
消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。
AudioLDM 2 在 Hugging Face Diffusers 中通过代码和模型优化实现了超 10 倍推理速度提升。具体方法包括使用 PyTorch 2.0 SDPA 实现 Flash Attention、启用 float16 半精度计算、应用 torch.compile 以及切换至 DPMSolverMultistepScheduler 减少推理步数。
Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。
推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 推出针对企业的端到端代码助手解决方案 SafeCoder,提供自托管部署,基于 StarCoder 模型构建,支持 NVIDIA、AMD 等硬件加速推理,确保代码在训练和推理过程中不离开客户 VPC,解决合规与安全问题。
Hugging Face 发布开源多模态模型 IDEFICS,该模型是对 DeepMind Flamingo 的开源复现,可处理图像和文本序列输入并生成文本输出。
推荐理由:该模型基于公开数据复现了专有视觉语言模型,并展示了红队测试与透明度实践。
Hugging Face Hub 已上线 AWS Marketplace,允许用户通过 AWS 账户直接订阅并支付 Hugging Face 服务费用。此举将 Inference Endpoints、Spaces 硬件升级及 AutoTrain 等服务整合至 AWS 账单中,方便企业统一支付 Llama 2 等模型相关服务的费用,无需单独使用信用卡。
Hugging Face 发布教程,演示如何使用 Better Transformer、fp16 和 CPU offload 优化 Bark 模型。基准测试显示,组合三种优化可将 Bark-large 的内存占用从 5GB 降至 2GB,速度提升 15%;批量处理时吞吐量最高提升 87%。
本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。
Hugging Face 发布名为 Swift Transformers 的 Swift 包和配套工具链,支持在 Apple 设备本地运行 Llama 2、Falcon 等 LLM。工具包含 swift-transformers 库、swift-chat 示例 App、以及更新后的 exporters 和 transformers-to-coreml 转换工具。
Hugging Face 在 TRL 库中引入了 DPO(Direct Preference Optimization)功能,允许开发者跳过复杂的 RLHF 奖励模型构建环节,直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练,并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由:教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2,提供了可直接运行的 QLoRA 训练代码。
Hugging Face 博客介绍了如何使用 Inference Endpoints 部署音乐生成模型 MusicGen。通过编写自定义 handler 处理不支持 transformers 高层 pipeline 的模型,利用 custom handlers 实现推理功能。
Zama 利用全同态加密技术实现 GPT2 模型的加密推理,在保护用户数据隐私的同时防止模型知识产权泄露。通过 Hugging Face Transformers 库和 Concrete-Python 改造 GPT2 的注意力机制,4 比特量化方案在约 80 句数据集上保留了 96% 的原始准确率。
Hugging Face 团队利用机器学习检测 Hub 中缺失语言元数据的 Dataset 语言,并通过 librarian-bots 自动提交 Pull Request 补充信息。实验使用 Meta 发布的 fastText 模型识别 217 种语言,目前 Hub 上约 87% 的公开 Dataset 未指定语言,该项目旨在提升特定语言 Dataset 的可发现性。
该指南介绍利用生成式AI制作PS1风格3D资产的七步工作流。使用开源模型Shap-E将文本生成3D模型,在Blender 3.1中通过Decimate修改器降低多边形数量,并安装Dream Textures插件基于Stable Diffusion生成无缝纹理。最终完成UV映射并导出FBX格式,导入Unity后可通过顶点光照和特效呈现复古美学,展示了低保真3D生成的实际可行性。
Segmind 开源了 SD-Small 和 SD-Tiny 模型的知识蒸馏代码及预训练权重。这两个压缩模型分别比基础模型减少 35% 和 55% 的参数,推理速度最高提升 100%,且输出图像保真度可比。目前模型处于早期阶段,更适合用于特定概念或风格的微调及 LoRA 训练。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。
推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。
Hugging Face 联合 Creative Commons 等机构发布立场文件,建议欧盟 AI 法案明确开源 AI 组件的协作开发与公共仓库分发不受法案特定要求约束。文件还提议确保研发例外条款在现实测试中具备实用性,并对基础模型实行差异化比例监管要求,以支持开放生态的透明度与创新能力。
Hugging Face 发布新库 Agents.js,允许在浏览器或服务器端通过 JavaScript 为 LLM 提供工具访问。该库默认使用 OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 模型,并内置多模态工具,支持通过 npm 安装扩展自定义 LLM 和工具。
Hugging Face 举办首届开源 AI 游戏 Jam,收到 88 款游戏提交,最终由 ohmlet 团队开发的《Snip It》获得冠军。参赛作品主要集成 Stable Diffusion、GPT-4 等开源工具,主题定为“EXPANDING”,评测标准涵盖趣味性、创造力及主题契合度。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
本教程展示了如何利用 Intel Sapphire Rapids CPU 上的 AMX 硬件加速器,在纯 CPU 集群上微调 Stable Diffusion 模型。该过程使用 textual inversion 技术,仅通过 5 张示例图像即可完成训练,无需 GPU 基础设施。
教程演示如何使用 Transformers.js 在浏览器中完全本地运行 ML 网页游戏 Doodle Dash。该游戏基于 Google Quick, Draw! 数据集微调了 5.6M 参数的 apple/mobilevit-small 模型,通过 Web Workers 实现每秒 60 次以上的实时推理预测。
Sayak Paul 介绍了如何借鉴 FLAN V2 指令微调方法扩展 InstructPix2Pix,使其能按指令完成卡通化、去雨、去噪、低光增强等图像任务。
Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。
BigCode 项目采用 MinHash + LSH 算法对代码数据集进行文档级近似去重,以解决数据重复及基准测试污染问题。去重不仅提升了训练效率,还通过减少数千吉字节数据的存储与传输成本,增强了数据的可访问性。该方法已应用于 BigScience 和 BigCode 数据集,有效降低了模型对训练数据逐字输出的风险。
本文介绍如何在单张AMD GPU上使用ROCm运行开源大语言模型Vicuna 13B。该模型由LLaMA基础模型微调而来,使用约70,000条用户对话数据,训练成本约300美元。文中详细说明了使用GPTQ 4位量化版本以降低显存需求,并提供了在ROCm 5.4.3和PyTorch 2.0环境下部署与推理的步骤。
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
Hugging Face 发布新的文本生成解码方法 assisted generation,利用更小的 assistant 模型先批量生成候选 token,再由主模型一次前向验证。
Hugging Face 展示了如何利用 BigCode 的 StarCoder 创建个性化编码助手 StarChat。StarCoder 是拥有 16B 参数量的开源模型,支持 8,192 token 上下文窗口,采用企业友好许可证。通过采用 ChatML 格式并配合 🤗 Transformers 与 DeepSpeed ZeRO-3 进行微调,可将其转化为对话式编码智能体。
Hugging Face 发布技术长文,解析文本生成视频(text-to-video)的技术演变与当前挑战。文章指出,该任务因时空一致性要求极高且缺乏高质量配对数据集,难度远超文本生成图像。
Hugging Face 推出代码大语言模型 StarCoder,基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型,StarCoder 进一步在 35B Python token 上微调得到。
推荐理由:官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩,并给出了多语言与辅助对话的应用潜力。
Hugging Face Unity API 作为 Hugging Face Inference API 的集成工具,允许开发者在 Unity 项目中通过 Git URL 安装并配置 API 键以访问模型。该工具支持文本生成、对话、文本转图像及语音识别等多项任务,并支持通过修改模型端点使用自定义模型。API 采用异步调用机制,开发者可通过切换至资源占用更低的模型端点来优化响应速度。
Hugging Face 发布指南,展示如何使用 TensorFlow 和 TPU 从头训练掩码语言模型。教程涵盖从训练 Unigram 分词器到数据准备及最终模型训练上传的全流程,默认使用 BERT 大小的模型。通过利用 XLA 和 TPUStrategy,大部分 Hugging Face 模型可轻松在 TPU 上运行,无需复杂配置。
Databricks 向 Hugging Face 代码库提交首个官方版本,支持通过新函数 `from_spark` 直接从 Apache Spark 数据帧创建 Hugging Face 数据集。