Hugging Face Blog·· 2023-09-13AI 评分59
使用 PyTorch FSDP 微调 Llama 2 70B
Fine-tuning Llama 2 70B using PyTorch FSDP
AI 导读
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
来源:Hugging Face Blog · huggingface.co
Fine-tuning Llama 2 70B using PyTorch FSDP
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
来源:Hugging Face Blog · huggingface.co