arXiv · AI· Lenny Aharon, Neta Glazer, Lior Aharon·· 10 天前AI 评分31
合并前审计:LoRA 组合的溯源、探查与持续学习
Audit Before You Merge: Provenance, Probing, and Continual LoRA Composition
AI 导读
公开 LoRA 适配器存在基础模型不匹配及近零 delta 范数,导致遗忘测量干扰增大约 10pp。 研究在 Llama-3.1-8B-Instruct 上提出双项审计,发现原生合并使 GSM8K 下降 10.5pp、HumanEval 下降 18.3pp,而 Task Arithmetic 性能接近基线。
来源:arXiv · AI · arxiv.org