跳到正文
arXiv · ML· Yajie Qi, Wei Wei, Lin Li, Lijun Zhang, Jianye Hao·· 17 小时前AI 评分25

CCGP-2M:基于视觉语言模型微调的 Craftax 强化学习框架

Goal-Guided Reinforcement Learning via Fine-Tuning Vision-Language Models

AI 导读

研究提出 CCGP-2M 多模态目标偏好数据集及 VLM 引导强化学习框架,解决 Craftax 环境中稀疏奖励导致的探索难题。 该框架采用离线 KLTDPO 微调对齐目标偏好,在线阶段实现目标引导。实验显示其比 SOTA 基线更早收集钻石,并达成最高分数、奖励及成功率。

来源:arXiv · ML · arxiv.org