Hugging Face Blog·· 2023-02-10精选AI 评分72
Hugging Face 发布 PEFT 库实现参数高效微调
Parameter-Efficient Fine-Tuning using 🤗 PEFT
AI 导读
Hugging Face 发布 PEFT 库，集成 LoRA 和 Prompt Tuning 等技术，与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存，且模型权重仅 19MB 即可保存部署，性能接近全量微调。
推荐理由
官方开源了可插拔的轻量微调库，允许用 MB 级参数文件在消费级显卡上复现全量微调效果，改变了大模型适应下游任务的成本结构。
来源：Hugging Face Blog · huggingface.co