arXiv · AI· Langxi Huang, Pingping Zhang, Lanyun Zhu, Chunyang Jiang, Jiawei Shao, Haocheng Yuan, Peilin Chen·· 2026-10-07AI 评分31
ChartBmkAgent:基于 Harness 治理的多智能体图表问答基准构建框架
ChartBmkAgent: Harness-Governed Multi-Agent Construction of Chart QA Benchmarks from Sparse Error-Taxonomy Specifications
AI 导读
ChartBmkAgent 利用多智能体架构从稀疏错误分类规范生成图表问答样本,在 300 个样本中展示了 MLLM 准确率从 32.7% 到 84.3% 的差异。 其通过 Harness 治理确保样本对齐诊断目标,86.4% 的样本通过评估模型验证,实现了针对特定能力缺口的数据生成。 该方法缩短了基准开发周期,为调查多模态大语言模型的新能力差距提供了可定制的诊断证据。
来源:arXiv · AI · arxiv.org