跳到正文
arXiv · AI· Lenny Aharon, Neta Glazer, Lior Aharon·· 10 天前AI 评分31

合并前审计:LoRA 组合的溯源、探查与持续学习

Audit Before You Merge: Provenance, Probing, and Continual LoRA Composition

AI 导读

公开 LoRA 适配器存在基础模型不匹配及近零 delta 范数,导致遗忘测量干扰增大约 10pp。 研究在 Llama-3.1-8B-Instruct 上提出双项审计,发现原生合并使 GSM8K 下降 10.5pp、HumanEval 下降 18.3pp,而 Task Arithmetic 性能接近基线。

来源:arXiv · AI · arxiv.org