跳到正文
arXiv · ML· Maximilian Seeth, Chengzhi Martin Hu, Marie Kempkes, Paul R\"ottger, Leo Schwinn·· 17 小时前AI 评分32

SKILL.PNG: Learning Agent Skills in Pixel Space

SKILL.PNG: Learning Agent Skills in Pixel Space

AI 导读

SKILL.PNG 提出通过 VLM 视觉编码器对像素空间进行梯度优化,生成图像形式的智能体技能,替代传统文本指令。该方法在 16 个测试场景中的 9 个里优于前沿 LLM 优化的文本技能,且推理仅需 64 至 256 个图像 token,远少于文本技能所需的 900 至 2000 个 token。

来源:arXiv · ML · arxiv.org