跳到正文
arXiv · ML· Nairouz Mrabah, Ismail Ben Ayed, Mahdi S. Hosseini, Eric Granger·· 11 天前AI 评分28

视觉语言模型少样本适配:SignSparseSGD 仅靠少量梯度符号实现高效优化

On the Few-Shot Adaptation of Vision-Language Models: A Few Gradient Signs Are All You Need

AI 导读

视觉语言模型少样本适配面临梯度估计噪声大的问题,SignSparseSGD 和 DynSignSparseSGD 通过仅保留少数梯度符号进行更新,无需优化器状态。 在 11 个数据集、3 种 CLIP 主干和 5 种 shot 水平上,这两种优化器表现优于或持平现有基线,且对长训练周期不敏感。 方法具有强通用性,无需任务特定模块,单一配置即可跨场景适用,代码将随论文发布。

来源:arXiv · ML · arxiv.org