技术方向
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
22 条精选近 30 天 15 条共收录 1,158 条
Hugging Face 在 TRL 库中引入了 DPO（Direct Preference Optimization）功能，允许开发者跳过复杂的 RLHF 奖励模型构建环节，直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练，并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由：教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2，提供了可直接运行的 QLoRA 训练代码。
BLOOM 项目团队发布 176B 参数模型训练技术总结，详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行（DP、TP、PP）与 ZeRO 分片机制，阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略，为大规模分布式 LLM 训练提供工程参考。
推荐理由：文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略，为大规模模型训练提供了工程参考。