跳到正文
Hugging Face Blog·· 2024-02-19AI 评分59

PEFT 新增 LoRA 适配器合并方法

🤗 PEFT welcomes new merging methods

AI 导读

PEFT 库发布了针对 LoRA 适配器的新合并方法,支持在推理阶段在线结合多个微调权重。文章介绍了 concatenation、linear、SVD、TIES 和 DARE 等多种算法,提供代码示例与效果对比,并展示了将文本生成和文生图场景下不同风格的 LoRA 权重合并的应用,旨在帮助开发者在有限显存条件下提升模型能力融合体验。

来源:Hugging Face Blog · huggingface.co