LFPO框架实现扩散LLM高效策略优化

2026年10月28日，Chenxing Wei等人在arXiv发布论文，提出Sequence Likelihood-Free Policy Optimization（LFPO）框架。该框架旨在解决离散扩散语言模型（dLLMs）强化学习中的瓶颈问题，通过将策略对齐形式化为离散速度对齐，实现稳定且低方差的更新。 LFPO直接优化去噪logits，通过从中间状态预测终端解来拉直生成轨迹，从而显著减少去噪迭代次数。在推理和编码基准测试中，该框架的准确率持平或超越似然基线，并实现了推理速度的显著提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。