跳到正文
arXiv · AI· Xinping Wang, Jie Ma, Rui Xing, Wensong Guo, Xiayi Zhang, Jianhao Deng, Zihao Zhou, Boqian Yang, Feijuan He·· 4 小时前AI 评分34

MAMath-Bench:面向多智能体数学推理的过程感知与鲁棒性评估基准

MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning

AI 导读

MAMath-Bench 是一个包含 1003 道题目、涵盖 11 个数学类别及文本/图像/音频多模态的过程感知基准。 该基准通过细粒度里程碑标注,评估多智能体系统在解题正确性、推理过程可靠性及对抗性扰动鲁棒性三个维度的表现。 研究发现,多智能体协作不总能提升最终答案准确性,且现有系统对细微结构扰动的对抗性推理错误仍显脆弱。

来源:arXiv · AI · arxiv.org