arXiv · NLP· Minhae Oh, Jeonghye Kim, Jinwoo Koo, Yeongoon Kim, Jimin Seo, Minsik Seol, Jungwoo Lee·· 7 天前AI 评分28
DiVR 提升扩散语言模型 LLaDA-8B-Base 的推理准确率
Learning When Diffusion Language Models Should Regenerate
AI 导读
DiVR 作为验证器决定扩散语言模型何时重生成文本,LLaDA-8B-Base 在五个推理基准上的平均准确率从 35.3% 提升至 43.4%。 该方案成本为贪心解码的 1.9-3.5 倍,优于成本 3.8-7.4 倍的搜索基线,且无需修改生成器。 DiVR 能补充监督微调和强化学习,并泛化至 Dream 等其他生成器。
来源:arXiv · NLP · arxiv.org