跳到正文
arXiv · ML· Hongyu Cao, Yanchi Liu, Kunpeng Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Yanjie Fu, Haifeng Chen·· 2026-10-07AI 评分27

GRADE:面向小语言模型 LoRA 微调的梯度准入方法

Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning

AI 导读

针对 LoRA 微调小语言模型存在的梯度冲突与子空间饱和问题,提出数据中心框架 GRADE。该框架利用状态感知选择器引入对齐样本,并通过步级门控拒绝破坏性覆盖更新。在三个当前代主干模型及七数据集混合池上,GRADE 在准确性和鲁棒性上优于强基线,是唯一在每种架构上都一致优于标准 LoRA 的方法。

来源:arXiv · ML · arxiv.org