arXiv · ML· Zeyu Zheng, Clare Lyle, Khimya Khetarpal, Will Dabney·· 1 天前AI 评分34
RL 缩放定律实证研究：预测 actor-critic 算法训练性能
An Empirical Study of Reinforcement Learning Scaling Laws
AI 导读
研究者发现 actor-critic 算法在 Starpilot 和 Craftax 环境中的经验缩放定律，可精准预测最大相差两个数量级的训练性能。 使用 Elo 分数替代平均回合奖励作为评估指标，显著提升缩放定律的可预测性，并在 Craftax 环境中创下新纪录。 进一步观察到计算最优模型规模出现非单调缩放现象，该规律与 Ray interference 病理机制相关。
来源：arXiv · ML · arxiv.org