arXiv · ML· Dezhen Lu, Zixiang Ni, Runguo Li·2026-10-27 12:00· 1 天前AI 评分26

ScaleRLT：循环 Transformer 强化学习中的精确对数概率与快速延迟 Rollout

ScaleRLT: Exact Log-Probabilities and Fast Deferred Rollouts for Reinforcement Learning on Looped Transformers

AI 导读

ScaleRLT 通过混合学习器实现对数概率计算，解决了循环模型中 rollout 与 dense 路径的浮点误差问题。在 FP32 和 bf16 精度下，该方法在 167 个测试单元格中实现了位级重现。

来源：arXiv · ML · arxiv.org