arXiv · NLP· Yuchi Wang, Rongyao Fang, Weihao Yu, Xilin Wei, Tiancheng Gu, Dingkang Yang, Hang Zhang, Dayiheng Liu, Hongsheng Li, Shuai Bai·· 6 小时前AI 评分40
RefCraft：通过网页开发评测基于视觉参考的智能体生成
RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development
AI 导读
研究人员提出 RefCraft 基准，包含 300 个结合自然语言指令与截图的网页开发任务，要求智能体视觉参考后迭代生成。 现有基准多侧重视觉重建或纯文本指令，忽略了从视觉示例开发网页的常见工作流。 在九个前沿大模型测试中，最强系统得分仅 52.12/100，表明当前模型在此类任务上仍面临挑战。
来源：arXiv · NLP · arxiv.org