arXiv · AI· Sajjad Pakdamansavoji, Mohammad Reza Rezaei, Ilija Subasic, Pedro Garzon, Radu Paradovschi, Zhao Chen·· 8 小时前AI 评分32
OLGA：面向持续语言模型训练的在线无标签梯度匹配方法
Online Label-Free Gradient Matching for Continual Language Model Training
AI 导读
针对持续语言模型训练痛点，OLGA 利用模型自身预测作为梯度匹配目标，无需真实标签即可蒸馏无标签数据。在基于 phi-1.5 的五个文本分类基准测试中，该方法仅用 5 个样本即比最强选择基线提升 10 个百分点准确率。
来源：arXiv · AI · arxiv.org