arXiv · AI· Bincheng Peng, Guang Li, Ping Liu, Takahiro Ogawa, Miki Haseyama·· 3 天前AI 评分36
CLP-DD:面向预训练视觉模型的闭式线性探针数据蒸馏方法
Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models
AI 导读
CLP-DD提出了一种针对冻结预训练编码器的闭式线性探针数据蒸馏方法,通过样本空间核岭回归求解器替代传统的轨迹匹配或NTK近似。 该方法在ImageNet-100上显著优于LGM(无DSA),在ImageNet-1K上性能持平或超越LGM(含DSA),且速度提升14倍,GPU内存占用降至1/8以下。 代码已开源,相关研究被NeurIPS 2026收录。
来源:arXiv · AI · arxiv.org