跳到正文
arXiv · ML· Nairouz Mrabah, Ismail Ben Ayed, Eric Granger·· 10 天前AI 评分31

为何 Adam 失败而 SGD 成功:Few-Shot CLIP 适应中全量微调并非问题所在

Full Fine-Tuning is not the Problem: Why Adam Fails and SGD Succeeds in Few-Shot CLIP Adaptation

AI 导读

论文指出 Few-shot CLIP 适应中 Adam 优化器失败源于不可靠的 support-set 预处理,而非全量微调本身。在 11 个数据集、3 种 CLIP 骨干和 5 个 shot 级别测试中,使用 SGD 的全量微调优于代表性 PEFT 方法。

来源:arXiv · ML · arxiv.org