跳到正文
arXiv · AI· Haoxi Li, Sikai Bai, Jianfei Ma, Qinglin Hou, Xiaocheng Lu, Tao Han, Jie Zhang, Song Guo·· 5 小时前AI 评分23

Dwell:基于视觉-语言智能体潜空间学习的强化学习框架

Vision-Language Agents Can Learn in Their Own Latent Worlds

AI 导读

研究提出 Dwell 框架,将预训练视觉-语言模型重构为循环潜空间转移算子,实现智能体在潜空间的预测与行动。 该框架利用模型表征同时作为世界模型与策略,通过在线交互与潜空间想象持续改进行为,代码已公开。 在五个交互式视觉环境中,Dwell 在可训练方法中取得最强整体性能,并大幅降低想象所需的计算量。

来源:arXiv · AI · arxiv.org