跳到正文
arXiv · ML· Wanhao Yu, Ziyan Wang, Zheng Wang, Abeer Matar Almalky, Yihang Zuo, Shuteng Niu, Sen Lin, Adnan Siraj Rakin, Deliang Fan, Li Yang·· 11 天前AI 评分36

Dominant-Layer ZO:LLM 零阶微调由单层主导

Dominant-Layer ZO: A Single Layer Dominates Zeroth-Order Fine-Tuning of LLMs

AI 导读

LLM 零阶微调的性能主要受单一解码层支配,仅微调该层在多个基准上可媲美或超越全模型微调。 该主导层具有任务无关但模型特定的特性,可通过分析激活异常值提前识别。在 LLaMA2-7B 和 Qwen3-8B 上,该方法相比 MeZO 和 LoRA 微调平均性能更优,训练速度提升最高 4.52 倍。

来源:arXiv · ML · arxiv.org