跳到正文
arXiv · AI· Bincheng Peng, Guang Li, Ping Liu, Takahiro Ogawa, Miki Haseyama·· 3 天前AI 评分36

CLP-DD:面向预训练视觉模型的闭式线性探针数据蒸馏方法

Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models

AI 导读

CLP-DD提出了一种针对冻结预训练编码器的闭式线性探针数据蒸馏方法,通过样本空间核岭回归求解器替代传统的轨迹匹配或NTK近似。 该方法在ImageNet-100上显著优于LGM(无DSA),在ImageNet-1K上性能持平或超越LGM(含DSA),且速度提升14倍,GPU内存占用降至1/8以下。 代码已开源,相关研究被NeurIPS 2026收录。

来源:arXiv · AI · arxiv.org