跳到正文
arXiv · ML· Xuanlin Yang, Jia Li, Zhouchen Lin·· 2026-10-14AI 评分23

StructZO:面向内存高效 LLM 微调的结构化零阶优化框架

StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning

AI 导读

StructZO 提出结构化零阶优化框架,在激活诱导子空间中进行大查询估计并应用谱控制,显著缩小零阶与一阶优化器的性能差距。 理论证明有效估计维度从 $mn$ 降至 $mr$,投影误差由激活 Gram 矩阵谱尾决定。 在 OPT 系列和 Llama3.1-8B 上,StructZO 平均比最强零阶基线提升 8.7%,个体任务最高提升 26.9%,平均结果距一阶 Adam 仅 1.5%。

来源:arXiv · ML · arxiv.org