使用 Unsloth 和 Hugging Face TRL 实现 2 倍速 LLM 微调
Hugging Face 团队介绍了由社区开发的轻量级工具 Unsloth,可将 LLM 微调速度提升至 2 倍并降低 40% 内存占用。该工具通过重写 PyTorch 模块为 Triton 内核优化运算,兼容 Llama 和 Mistral 架构,且支持 TRL 训练器套件。
推荐理由:提供可复现的加速微调方案,实测数据清晰展示了显存与速度优化幅度。
Hugging Face 团队介绍了由社区开发的轻量级工具 Unsloth,可将 LLM 微调速度提升至 2 倍并降低 40% 内存占用。该工具通过重写 PyTorch 模块为 Triton 内核优化运算,兼容 Llama 和 Mistral 架构,且支持 TRL 训练器套件。
推荐理由:提供可复现的加速微调方案,实测数据清晰展示了显存与速度优化幅度。
Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。
推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
Intel Labs 与 Hugging Face 联合推出 SetFitABSA 框架,用于少样本训练领域特定的基于方面的情感分析(ABSA)模型。该框架通过三阶段流程提取方面候选项并分类情感极性,在少样本场景下性能优于 Llama2 和 T5 等生成式模型。SetFitABSA 无需手工提示词,且仅需少量标注样本即可快速训练,显著降低了数据标注成本。
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型,通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时,较 Stable Diffusion 1.4 减少 16 倍,现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。
推荐理由:模型通过 42 倍空间压缩实现生成加速,其 9,000 GPU 小时训练成本大幅低于同类技术。
Hugging Face 发布的企业级代码助手 SafeCoder 基于 StarCoder 模型,提供透明度、定制性与隐私保护,区别于 GitHub Copilot 等闭源服务。
Hugging Face 正式发布 TII 开发的开源大语言模型 Falcon 180B,该模型拥有 1800 亿参数,使用了 3.5 万亿 tokens 进行预训练。
推荐理由:Falcon 180B 是当时最大的开源语言模型,在 Hugging Face 生态中提供了完整的部署和微调指南。
Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。
推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。
Hugging Face 在 TRL 库中引入了 DPO(Direct Preference Optimization)功能,允许开发者跳过复杂的 RLHF 奖励模型构建环节,直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练,并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由:教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2,提供了可直接运行的 QLoRA 训练代码。
Zama 利用全同态加密技术实现 GPT2 模型的加密推理,在保护用户数据隐私的同时防止模型知识产权泄露。通过 Hugging Face Transformers 库和 Concrete-Python 改造 GPT2 的注意力机制,4 比特量化方案在约 80 句数据集上保留了 96% 的原始准确率。
该指南介绍利用生成式AI制作PS1风格3D资产的七步工作流。使用开源模型Shap-E将文本生成3D模型,在Blender 3.1中通过Decimate修改器降低多边形数量,并安装Dream Textures插件基于Stable Diffusion生成无缝纹理。最终完成UV映射并导出FBX格式,导入Unity后可通过顶点光照和特效呈现复古美学,展示了低保真3D生成的实际可行性。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。
推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
Hugging Face 展示了如何利用 BigCode 的 StarCoder 创建个性化编码助手 StarChat。StarCoder 是拥有 16B 参数量的开源模型,支持 8,192 token 上下文窗口,采用企业友好许可证。通过采用 ChatML 格式并配合 🤗 Transformers 与 DeepSpeed ZeRO-3 进行微调,可将其转化为对话式编码智能体。
Hugging Face 推出代码大语言模型 StarCoder,基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型,StarCoder 进一步在 35B Python token 上微调得到。
推荐理由:官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩,并给出了多语言与辅助对话的应用潜力。
该教程展示了如何利用 diffusers 在免费层级 Google Colab 上运行 IF 模型。IF 是在像素空间工作的文本转图像模型,参数量达 10B,相比 Stable Diffusion 具有更高细节生成能力。通过 bitsandbytes 8-bit 量化及模块化加载组件,可在 13GB CPU RAM 和 15GB GPU VRAM 的限制下完成推理。
本文通过 Hugging Face 的 Graphormer 模型,演示了利用 Transformers 库进行图分类的完整流程。教程涵盖了从 Hugging Face Hub 加载 OGB 数据集、定义图数据格式,到对预训练模型进行微调以适配二分类任务的具体步骤。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。
推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
Hugging Face 开源发布 AI vs. AI 系统,利用 ELO 评分机制对 Hub 上的多智能体强化学习模型进行相对实力排名。该系统通过 Spaces 自动匹配并运行模拟对战,根据胜负结果动态更新模型 ELO 分数,无需传统指标即可评估策略质量。首批应用为 Deep RL 课程中的 SoccerTwos 挑战,用户将训练模型推至 Hub 即可参与排名。
本文通过基准测试验证了 Hugging Face Optimum Intel 在 Intel Sapphire Rapids CPU 上加速 PyTorch 模型推理的效果。测试涵盖 distilbert-base-uncased、bert-base-uncased 和 roberta-base 等 NLP 模型,结果显示使用 Optimum Intel 库能显著提升短长序列的分类任务预测性能。
Hugging Face 的 diffusers 库正式支持 LoRA(低秩适配)技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层,显著降低了计算资源和显存需求,例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调,且训练得到的权重文件仅约 3 MB,便于共享。
推荐理由:原文给出了LoRA微调的完整实践指南,读者可以据此用更低成本训练和共享自定义模型。
Hugging Face 宣布与百度 PaddlePaddle 开展开源合作,将 PaddlePaddle 模型库接入 Hugging Face Hub。用户可在 Hub 上找到超过 75 个 PaddlePaddle 模型(包括 ERNIE 3.0、UIE、PaddleOCR 等),并通过 Inference API 和交互 widget 直接调用。
VQ-Diffusion 是中科大与微软提出的条件潜扩散模型,其加噪和去噪过程在由离散向量组成的量化潜空间上进行。文中介绍了 VQ-VAE 编码器将图像转换为离散 token 的流程,并解释了基于 Transformer 的近似逆向过程。
Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO,支持使用 Transformers 模型在多种 Intel 处理器上进行推理。
Hugging Face 推出 MTEB,这是一个涵盖 56 个数据集和 8 类任务的大规模文本嵌入基准,用于评估模型性能。该基准支持多达 112 种语言,目前排行榜汇总了超过 2000 个结果。开发者可通过安装 `mteb` 库对任意嵌入模型进行基准测试,并将结果提交至公共排行榜。
rinna 公司发布专为日语优化的文生图模型 Japanese Stable Diffusion,该模型通过在日语数据集上微调 Stable Diffusion 生成,能够理解日语提示词并生成反映日本文化特征(如“salary man”形象)的图片。
Hugging Face 升级 AutoTrain 基础设施,允许用户在 Hub 上免费对 660 亿参数的因果语言模型执行零样本分类评估。该技术通过计算令牌对数概率来衡量模型性能,无需标记数据;评估 660 亿参数模型处理 2000 个句子级样本仅需 3.5 小时。
OpenAI 训练并开源了名为 Whisper 的神经网络,其在英语语音识别上具备接近人类水平的鲁棒性和精度。
推荐理由:官方开源了具备类人鲁棒性和精度的英语语音识别模型。
Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。
推荐理由:原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性,适合开发者和研究者快速掌握最新功能。
Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。
推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。
Intel 正式加入 Hugging Face 硬件合作伙伴计划。双方将基于 Optimum 开源库与 Intel Neural Compressor (INC) 协作,通过量化工具简化 Transformer 模型在 Intel Xeon 平台上的加速训练与推理。此前在 Habana Gaudi 加速器上的测试显示,其性价比相比 GPU 高出 40%。
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持,开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由:通过加速问答模型的全流程实操,展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成至 transformers 库和 Hugging Face Hub。该方法利用自回归序列建模根据目标回报生成未来动作,替代传统价值函数最大化过程。用户可获取 9 个针对 Gym 连续控制任务的预训练检查点,并通过设定目标回报来调控策略表现,适用于 Atari 等场景及游戏 AI 难度调节。
Hugging Face 在 huggingface_hub 中推出了增强搜索功能,新增 ModelSearchArguments 和 ModelFilter 类,支持在 Python 环境中通过程序化接口按任务、数据集、框架等条件检索模型与数据集。
Hugging Face 发布教程,介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练,并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由:提供了训练 GPT-2 大模型的具体步骤,涵盖数据清洗、分词器设计和分布式训练,可复用于自研代码模型。
Hugging Face 发布首个自研 Unity ML-Agents 深度强化学习环境 Snowball Fight,支持用户在 Hugging Face Spaces 在线对战。该平台允许开源托管训练环境与模型,并计划在后续版本中支持 2vs2 协作模式,采用 MA-POCA 算法训练团队行为。
Hugging Face 发布了 Optimum 库,用于在 Graphcore IPU 等硬件平台上降低 Transformer 模型的预测延迟。 该指南展示了如何使用 BERT 模型在 IPU 上执行微调,通过 Optimum-Graphcore 包和 PopTorch 框架实现推理加速。