arXiv · NLP· Binjie Wang, Xinran Zhao, Shoubin Yu, Xiang Li, Silong Yong, Chenyang Yang, Tianyu Chen, Ruofei Du, He He, Chen Zhao, Tongshuang Wu·· 21 天前AI 评分29
3DCodeEdit:基于指令引导的 3D 程序编辑基准
3DCodeEdit: Benchmarking Instruction-Guided 3D Program Editing
AI 导读
发布 3DCodeEdit 基准,包含 108 个 Blender 程序和 2592 个指令引导的编辑任务。 17 个模型平均成功率仅 37%,即使最强模型结构编辑成功率也低于 60%。 研究证实分离评审模型的多轮反馈效果最优,可使 27B 模型单轮成功率超越 2.8T 模型。
来源:arXiv · NLP · arxiv.org