arXiv · ML· Giannis Daras, Marios Papachristou, Adam Klivans, Antonio Torralba, Constantinos Daskalakis·· 2 天前AI 评分27
Ambient LLMs 提出通过温度匹配实现数据高效的监督微调
Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching
AI 导读
论文提出 Ambient SFT 框架,利用预训练模型作为噪声教师,通过匹配高温度条件分布来防止小数据集微调导致的过拟合。该方法在领域适应、指令调优和推理任务中表现优于标准 SFT,平均相对提升达 21%。
来源:arXiv · ML · arxiv.org