跳到正文
arXiv · NLP· Yuki Otsuka, Daisuke Oba, Naoaki Okazaki·· 8 小时前AI 评分36

ReLaDrift: 通过漂移实现递归语言生成以扩展测试时

ReLaDrift: Recurrent Language Generation via Drifting for Test-Time Scaling

AI 导读

ReLaDrift 通过共享漂移模型在连续潜在空间迭代优化初始草稿,支持测试时计算与生成质量的权衡。 训练时采样轮数并仅在最终轮应用漂移损失,停止前序轮梯度。在 Sudoku Hard 和 GSM8K 基准上,其性能优于或匹敌扩散与流语言模型。

来源:arXiv · NLP · arxiv.org