内容形态
拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
74 条精选近 30 天 35 条共收录 758 条
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers，支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微，且小批量推理速度与 fp16 基准相当。
推荐理由：Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers，提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 在 TRL 库中引入了 DPO（Direct Preference Optimization）功能，允许开发者跳过复杂的 RLHF 奖励模型构建环节，直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练，并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由：教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2，提供了可直接运行的 QLoRA 训练代码。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行，通过混合位调色（Mixed-Bit Palettization）技术将 UNet 模型压缩至等效 4.5 bit/参数，体积从 4.8 GB 降至 1.4 GB（减少71%）且生成质量优良。
推荐理由：介绍了混合位调色量化技术，可将模型尺寸降低71%且保持质量，为本地化部署提供了实用方法。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现，展示了如何通过监督微调（SFT）、奖励建模（RM）和强化学习（RLHF）让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上，降低了模型对齐训练的硬件门槛。
推荐理由：原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略，适合需要降低模型对齐训练硬件门槛的开发者。
Hugging Face 发布教程，介绍如何在 Diffusers 中使用 ControlNet 实现可控图像生成。教程演示了利用 Canny 边缘、OpenPose 姿态及多条件组合控制 Stable Diffusion 生成结果的代码实现，并展示了如何通过启用 CPU 内存卸载及 xformers 加速将推理时间缩短至 V100 GPU 上的约 3 秒。
推荐理由：原文提供了在 Diffusers 中结合 ControlNet 实现可控图像生成的具体代码示例与优化技巧。
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers，支持零样本图像描述、带提示的图像描述、视觉问答和聊天式提示。
推荐理由：解释了BLIP-2如何用轻量级Q-Former桥接图像编码器和大语言模型，给出了零样本图像描述、问答和聊天式提示的完整代码流程。
Hugging Face 的 diffusers 库正式支持 LoRA（低秩适配）技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层，显著降低了计算资源和显存需求，例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调，且训练得到的权重文件仅约 3 MB，便于共享。
推荐理由：原文给出了LoRA微调的完整实践指南，读者可以据此用更低成本训练和共享自定义模型。
Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍，且支持更大模型微调。测试通过Optimum Habana框架完成，单卡显存为96GB；A100使用fp16，Gaudi使用bf16或fp32。
推荐理由：给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比，读者可以据此判断硬件替代成本。
RLHF 利用人类反馈直接优化大语言模型，使其对齐复杂的人类价值观。该流程包含预训练语言模型、收集数据并训练奖励模型、使用 PPO 强化学习微调语言模型三个核心步骤。Hugging Face 介绍了当前活跃的开源工具 TRL、TRLX 和 RL4LMs，并梳理了该领域的发展脉络、现存挑战及后续方向。
推荐理由：将多模型协同训练的复杂机制拆解为三阶段并梳理开源工具，帮助读者建立对RLHF完整管线的实操理解。
Hugging Face在Diffusers下训练Stable Diffusion进行Dreambooth微调，并给出学习率、训练步数与prior preservation等参数建议。
推荐理由：基于Diffusers实验给出学习率、步数与prior preservation等关键参数建议，并比较DDIM采样与text encoder微调的效果。
Hugging Face 发布博客，指导如何使用 Diffusers 库运行 Stable Diffusion 模型并自定义推理管道。
推荐理由：详解Stable Diffusion在Diffusers中的调用与底层机制，提供完整代码示例与自定义管道方法，适合开发者快速上手图像生成。
Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成，性能提升最高达 100 倍，在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化，并需对输入进行填充以固定张量维度，从而避免重复编译。
推荐理由：展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法，给出了可直接复用的优化步骤。
Hugging Face 发布教程，介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练，并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由：提供了训练 GPT-2 大模型的具体步骤，涵盖数据清洗、分词器设计和分布式训练，可复用于自研代码模型。
OpenAI 发布 Proximal Policy Optimization 强化学习算法，其性能与现有最先进方法相当或更优，且实现与调优更简单，因此成为 OpenAI 内部默认的强化学习算法。
推荐理由：该算法实现简洁且易于调优，已成为 OpenAI 强化学习工作的默认方法，适合需要低成本落地的工程参考。