arXiv · ML· Theodoros Kouzelis, Spyros Gidaris, Nikos Komodakis·· 5 小时前AI 评分38
SERF：自正则化流语言模型框架
Self-Regularized Flow Language Models
AI 导读
SERF（自正则化流语言模型）提出一种无外部预训练模型的自监督框架，通过噪声到干净自蒸馏提升连续扩散语言模型性能。 在OpenWebText数据集上，SERF实现7.7倍训练加速，MAUVE提升24.3%，GSM8K准确率最高提升28.8%，采样步骤减少最高达64倍。
来源：arXiv · ML · arxiv.org