arXiv · ML· Giovanni Minelli, Giulio Turrisi, Lorenzo Amatucci, Victor Barasuol, Claudio Semini·· 8 小时前AI 评分28
基于相对动作信用学习解决 PPO 局部极小值问题
Learning from Relative Action Credit for Escaping Local Minima
AI 导读
针对 PPO 在处理长周期、接触密集型任务时因缺乏动作判别力而停滞的问题，论文提出一种条件化动作价值评估器。 该评估器允许在同一状态下对比已执行动作与采样动作，结合广义优势估计（GAE）限制探索噪声，使算法能突破局部极小值。 在同等训练预算下，扩展后的算法成功完成了精确销钉插入任务，而 PPO 失败。
来源：arXiv · ML · arxiv.org