arXiv · NLP· Fei Zuo, Yizhou Huang, Kezhi Wang·· 4 小时前AI 评分23
LoRA 层稀疏性机制分析与 Adaptive-LoRA 方法
Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
AI 导读
系统性机制分析揭示了 LoRA 适配效应的层间与组件间稀疏性，并指出关键层具有高度任务依赖性。 研究提出的 Adaptive-LoRA 方法通过冻结基座零消融自动识别任务特定层，在 Qwen2.5-1.5B 上仅需 30% 层数，实现 3.5 倍参数缩减并优于全层 LoRA。 该文发表于 NeurIPS 2026，建立了机制可解释性与实践效率间的联系。
来源：arXiv · NLP · arxiv.org