arXiv · AI· Junjue Wang, Weihao Xuan, Heli Qi, Pengyu Dai, Kunyi Liu, Hongruixuan Chen, Zhuo Zheng, Junshi Xia, Stefano Ermon, Naoto Yokoya·· 14 小时前AI 评分43
DORA：首个面向端到端灾害响应的大语言模型智能体基准测试
Can LLM Agents Respond to Disasters? Benchmarking Heterogeneous Geospatial Reasoning in Emergency Operations
AI 导读
DORA 是首个端到端灾害响应智能体基准，包含 515 项任务及 3,500 步专家验证轨迹。基于 108 工具 MCP 库，评估 13 款前沿 LLM，揭示组合脆弱性等挑战。代码和数据已开放，旨在建立可靠的灾害响应智能体测试平台。
来源：arXiv · AI · arxiv.org