跳到正文
arXiv · AI· Zixuan Huang, Yang Zhou, Guli Zhang, Sunzhu Li, Hongyan Xie, Zehao Chen, Fuzhen Zhuang, Kaixuan Wang, Xiaozhi Chen, Yikun Ban, Deqing Wang·· 17 小时前AI 评分31

ZeroVLN:无需监督微调 VLM 大脑的视觉语言导航框架

ZeroVLN: Learning to Navigate without Supervised Fine-Tuning of the VLM Brain

AI 导读

ZeroVLN 提出一种慢快导航框架,在视觉语言导航任务中实现 VLM 大脑零领域监督微调。 该框架通过语义工具调用接口连接动作专家,并采用闭环强化学习联合优化慢速与快速策略。 ZeroVLN 在 VLN-CE 基准上显著优于基于 SFT 的方法,且仅轻微改变大脑权重,保留通用视觉能力。

来源:arXiv · AI · arxiv.org