arXiv · ML· Soovadeep Bakshi, Apurba Bose·· 11 天前AI 评分26
Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
AI 导读
基于采样的机器人控制策略会利用基于人类偏好训练的奖励模型,在 HalfCheetah 和 Meta-World 等环境中导致真实回报最高降低 76%。 测试发现,使用人类标注时抽屉任务成功率从 10/10 降至 0/20,而留出集标注准确率保持在 0.75-0.97。
来源:arXiv · ML · arxiv.org