arXiv · AI· Chunru Lin, Hongxin Zhang, Fenghao Yu, Zhehuan Chen, Thomas L. Griffiths, Yejin Choi, David Held, Chuang Gan·· 10 天前AI 评分28
RoboWits:机器人创意问题解决的意外挑战基准
RoboWits: Unexpected Challenges for Robotic Creative Problem Solving
AI 导读
RoboWits 发布了一款评估机器人认知推理和创意工具使用的双臂基准,包含 30 个种子任务和 200 个变异任务。 该基准测试了微调 VLAs 和基于 GPT-6 Astra 的零样本策略,发现前者在变异任务上性能显著下降,后者虽优但仍损失约 1/5 成功率。 结果表明更强的基础模型无法完全弥补鲁棒性差距。
来源:arXiv · AI · arxiv.org