arXiv · NLP· Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, Jin Xu, Yunhai Tong·· 4 小时前AI 评分20
OmniDR-Bench：针对以视频为中心的深度研究报告的智能体评测基准
Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
AI 导读
针对当前深度研究智能体未评估以视频为中心的研究报告生成的局限，arXiv 论文提出了 OmniDR-Bench 基准。该基准包含 50 个中英文任务、6,414 条原子评估标准，旨在测试视频定位、多模态证据检索及交互式报告生成。 在测试的 18 种智能体配置中，最佳系统得分为 63.3/100。结果指出当前智能体仍存在内容覆盖面不足、跨模态因果逻辑分析及引用准确性欠缺等问题。
来源：arXiv · NLP · arxiv.org