跳到正文
arXiv · AI· Yuke Li, Xuehan Hou, Jie Chen·· 4 天前AI 评分33

回归无关布局感知匹配实现无幻觉 GUI 定位

Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching

AI 导读

提出回归无关框架解决多模态大模型 GUI 定位幻觉,ScreenSpot-Pro 精度提升超 20%。 该方法通过冻结 MLLM 解析指令生成布局描述,再经专用定位模型匹配候选项,仅用 Text/Icon 标签训练避免坐标回归。 Mind2Web 成功率与元素选择率提升超 15%,有效解耦指令理解与定位以优化 GUI 交互。

来源:arXiv · AI · arxiv.org