跳到正文
arXiv · AI· Baiyu Su, Runlong Liao, Lizhang Chen, Qiang Liu·· 24 天前AI 评分27

ReLF:一种基于整流流的连续态语言生成模型

Rectified Language Flow

AI 导读

ReLF 模型通过整流流将噪声传输至 token 嵌入以生成文本,在 OpenWebText 上测试 3 种模型尺寸均优于自回归基线。 结合 Hellinger-SVD 固定嵌入与正则化 reflow 技术,经 2 轮 reflow 后仅用 16 次函数评估生成 1,024 token 序列,速度提升 15-19 倍。

来源:arXiv · AI · arxiv.org