Hugging Face Blog·· 2023-03-09精选AI 评分76
Hugging Face 发布 trl 与 peft 集成，支持在 24GB 消费级 GPU 上微调 20B 大模型
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
AI 导读
Hugging Face 官方发布 trl 与 peft 的集成更新，实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用，在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型，展示了消费级硬件参与大规模模型训练的可能性。
推荐理由
将 LoRA 与 8-bit 量化结合，让消费级 GPU 承担 20B 模型微调，为资源有限的团队降低 RLHF 落地门槛。
来源：Hugging Face Blog · huggingface.co