跳到正文
arXiv · NLP· Ismael Rousseau, Geraldine Damnati, Frederic Bechet·· 7 天前AI 评分21

DeepStress: 深度搜索智能体的压力测试框架

DeepStress: Stress-Testing Deep Search Agents

AI 导读

研究团队提出 DeepStress 框架,用于评估深度搜索智能体在低质量证据下的鲁棒性。该框架通过动态合成文档环境,独立控制文档的可信度、相关性和事实准确性。在 HotpotQA 和 BrowseComp-Plus 上评估了 12 个系统,发现多个开源权重智能体在来源存在明显可信度红旗时仍自信作答,且许多 HotpotQA 问题即使所有返回文档事实错误,也常依赖参数化知识回答。

来源:arXiv · NLP · arxiv.org