跳到正文
arXiv · ML· Yikuan Li, Pinyan Lu, Fanghui Liu·· 2026-10-08AI 评分26

参数高效微调方法(PEFT)在功能上是否真的不同?

Are Parameter-Efficient Fine-tuning Methods Really Different?

AI 导读

研究对比 LoRA、DoRA、PiSSA 等六种 PEFT 方法,发现 LoRA 在保持任务性能的同时最能限制模型遗忘。 干预实验表明,恢复谱分量的主导成分而非中间或尾部成分,能最大程度降低通用文本 NLL 或基础图像漂移。

来源:arXiv · ML · arxiv.org