arXiv · AI· Zichuan Fu, Shirong Wang, Wenlin Zhang, Guojing Li, Yimin Deng, Jingtong Gao, Junjia Qi, Hanyu Yan, Yefeng Zheng, Xiaopeng Li, Wanyu Wang, Xian Wu, Xiangyu Zhao·· 4 小时前AI 评分37
GUI-Lens：通过由粗到细裁剪提升通用 VLM 的 GUI 定位精度
GUI-Lens: Enabling Precise GUI Grounding for Off-the-Shelf VLMs via Coarse-to-Fine Cropping
AI 导读
GUI-Lens 是一种由粗到细定位框架，让通用 VLM 通过主动视觉观察确定目标位置，最高提升 9.3 倍精度。该框架提取 OCR 文本和 UI 组件位置作为参考，VLM 选择区域进行裁剪放大，在 5 个基准测试和 6 个基座模型上验证有效性。
来源：arXiv · AI · arxiv.org