arXiv · AI· Seohyun Lee, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, Jayun Ku, Hyunwoo J. Kim·· 4 小时前AI 评分31
MMEnterprise-Bench:评测多模态记录演进下的企业智能体
MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
AI 导读
论文提出基准测试 MMEnterprise-Bench,包含 1,613 个基于模拟协作项目中演进多模态记录的问题。 评测涵盖证据推理、冲突解决和不可回答性三类任务,测试了 10 个专有及开源多模态 LLM。 结果显示最强模型在跨源或时间冲突证据面前仍表现挣扎,增加检索预算或未显著提高答案准确率。
来源:arXiv · AI · arxiv.org