跳到正文
arXiv · AI· Baifu Huang, Shilin Fang, Jianan Wang·· 10 天前AI 评分24

Be My Eye:面向多机器人协作的任务驱动主动上下文共享框架

Be My Eye: Learning to See Beyond a Robot's Own Perspective

AI 导读

该框架通过两阶段训练,将机器人观测编码为紧凑表示并集成至预训练VLA策略,实现任务导向的主动上下文共享。 第一阶段联合编码观测与指令,利用未来预测和软任务进度学习指导压缩;第二阶段支持双向上下文交换,通过动作监督联合优化表示与策略。 实验表明在受限通信预算下性能显著提升,并在真实双机器人任务中得到验证,推动视觉传输向主动共享转变。

来源:arXiv · AI · arxiv.org