跳到正文
arXiv · NLP· Qingsong Xie, Yanlin Fei, Nazhou Liu, Jiacheng Tang, Madalina Ciobanu, Navan Preet Singh, Qingqing Mao, Ritankar Das·· 3 天前AI 评分43

T2T Technical Report: 通过视频教程规模化合成 GUI 智能体轨迹

T2T Technical Report: Synthesizing GUI Agent Trajectories at Scale from Video Tutorials

AI 导读

T2T 提出全自动流水线,将无标注视频教程转化为结构化 GUI 智能体交互轨迹。 该流水线支持桌面、Web 和移动平台,结合主动片段过滤与双阶段动作空间归一化。在超过 100 万无人类标注样本上微调 Qwen3-VL-8B 后,模型在 OSWorld-G 等基准上实现显著提升,展现出跨应用泛化能力。

来源:arXiv · NLP · arxiv.org