跳到正文
arXiv · ML· Soovadeep Bakshi, Apurba Bose·· 11 天前AI 评分26

Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences

Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences

AI 导读

基于采样的机器人控制策略会利用基于人类偏好训练的奖励模型,在 HalfCheetah 和 Meta-World 等环境中导致真实回报最高降低 76%。 测试发现,使用人类标注时抽屉任务成功率从 10/10 降至 0/20,而留出集标注准确率保持在 0.75-0.97。

来源:arXiv · ML · arxiv.org