arXiv · AI· Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li, Ziyu Liu, Yuhang Zang, Weixiang Yu, Cheng Lu, Chonggao Sun, Tong Zhou, Dahua Lin, Hang Zhang, Shuai Bai, Dayiheng Liu·· 1 天前AI 评分35
Co-Design Bench 发布：面向 Agentic 模型的多模态协同编码评测基准
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
AI 导读
Co-Design Bench 是一款包含 273 项任务的无参考基准，专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道，涵盖 3 个能力维度，并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中，最强者平均通过率 69.9%，但仅 26.4% 的任务被完全满足；多变更类型的仓库编辑完成率显著偏低。
来源：arXiv · AI · arxiv.org