跳到正文
arXiv · ML· Haiyuan Wan, Yanyi Li, Weicheng Lin, Cong Fang·· 2026-10-12AI 评分33

样本自适应零阶优化(SAZO):提升大语言模型微调效率

Sample-Adaptive Zeroth-Order Post-Training

AI 导读

样本自适应零阶优化(SAZO)通过学习样本重要性并自适应分配查询,加速大语言模型零阶微调的收敛。 该方法无需额外模型评估,仅比 MeZO 增加 O(N) 标量状态,证明其渐近匹配最小方差采样或acles的收敛主项。 在四个模型族上的实验表明,SAZO 提升了平均下游性能,且达到相同训练损失所需的查询次数最多快 6 倍。

来源:arXiv · ML · arxiv.org