arXiv · AI· Mohammed Rahman Sherif Khan Mohammad, Ardhendu Behera, Sandip Pradhan, Swagat Kumar, Yonghuai Liu·· 14 天前AI 评分27
SD-LoRA:面向少样本视觉语言适应的训练时结构蒸馏
SD-LoRA: Training-Time Structural Distillation into LoRA for Few-Shot Vision-Language Adaptation
AI 导读
SD-LoRA提出训练时结构蒸馏框架,通过图教师模型在训练阶段利用token级图推理,将其结构先验隐式蒸馏至轻量级CLIP-LoRA骨干中。 推理时丢弃图教师,仅需单次CLIP-LoRA前向传播及基于缓存的分类器,无额外图计算开销。 在11个少样本基准测试中,SD-LoRA相比强力CLIP-LoRA基线在1/2/4/8/16-shot设置下分别提升2.4/1.8/3.0/2.4/2.0个百分点。
来源:arXiv · AI · arxiv.org