OLGA无标签在线梯度匹配方法发布

OLGA是一款面向持续语言模型训练的在线无标签梯度匹配方法，由Sajjad Pakdamansavoji等人提出。该方法的核心思路是利用模型自身的下一步预测作为梯度匹配目标，从而在缺乏真实标签的情况下对无标签数据进行蒸馏。 在实测方面，基于phi-1.5模型进行的五个文本分类基准测试显示，OLGA仅使用5个样本，就比最强的选择基线准确率提升了10个百分点，展现出在持续学习场景中的高效性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。