arXiv · NLP· Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland·· 10 天前AI 评分39
扩散 LLM 强化学习:基于熵引导步长选择与逐步优势的方法
Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages
AI 导读
提出一种针对扩散语言模型(DLMs)的无偏策略梯度算法,将去噪轨迹建模为有限时域马尔可夫决策过程,在编码与逻辑推理基准测试中达到最先进水平。 该方法利用熵引导近似界选择策略更新步长,并采用单步去噪奖励估计中间优势,避免了昂贵的多步滚动模拟与序列似然显式计算。
来源:arXiv · NLP · arxiv.org