arXiv · ML· Ziqing Wen, Xiaohui Song, Jiahuan Wang, Ping Luo, Junlin Zeng, Dongsheng Li, Tao Sun·· 7 天前AI 评分25
WIS-MeZO:基于 Wanda 引导稀疏扰动的零阶优化方法
Wanda-Guided Sparse Perturbations for Efficient Zeroth-Order Optimization
AI 导读
针对零阶优化中随机扰动效率低的问题,提出 WIS-MeZO 方法。该方法利用 Wanda 权重-激活显著性构建任务条件稀疏扰动掩码,保持预训练模型稠密状态。在 16 个基准上,LLaMA 和 Qwen 模型(3B-32B 参数)的聚合分数优于 MeZO,且以更少步骤达到可比的验证损失。
来源:arXiv · ML · arxiv.org