Hugging Face Blog·· 2024-02-23AI 评分42
如何使用 PEFT 和 LoRA 在 Hugging Face 上微调 Gemma 模型
Fine-Tuning Gemma Models in Hugging Face
AI 导读
该教程展示了如何结合 Hugging Face Transformers 和 PEFT 库,利用 LoRA 对 Google DeepMind 的 Gemma 模型进行参数高效微调。 通过 4-bit 量化(QLoRA)降低显存占用,并支持在 GPU 和 Cloud TPU 上运行。
来源:Hugging Face Blog · huggingface.co