跳到正文
arXiv · ML· Zhenrui Yue, Gongxiaohui Chen, Huimin Zeng, Honglei Zhuang, Jiashuo Sun, Zhen Han, Dong Wang·· 13 小时前AI 评分26

MRPD 提出多专家重放策略蒸馏,实现长程 RL 专家高效整合

Replay, Don't Resample: Off-Policy Consolidation of Long-Horizon RL Experts

AI 导读

该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。

来源:arXiv · ML · arxiv.org