arXiv · ML· Alvard Barseghyan, Ani Vanyan, Hakob Tamazyan, Hrant Khachatrian·· 2026-10-15AI 评分25
图像自蒸馏数据密度缩放定律:重复样本的影响
Data Density Scaling Laws for Image Self-Distillation
AI 导读
研究指出图像自蒸馏中样本重复对下游性能的影响是非平凡的且依赖数据集,现有缩放定律存在局限。 在Maxar、ImageNet等7个数据集上,重复训练较小随机子集有时优于训练更大唯一样本集,验证了数据依赖特性。 论文提出修改版Chinchilla风格缩放定律,显式纳入唯一样本数与重复次数两个因素。
来源:arXiv · ML · arxiv.org