跳到正文
arXiv · AI· Samuel Joseph Amouyal, Ofek Glick, Yaniv Menasherov, Eyal Fisher, Ohav Barbi·· 10 天前AI 评分33

LEGION:对抗性噪声下稀疏信号调查的语言智能体基准

LEGION: Benchmarking Language Agents on Sparse-Signal Investigation Under Adversarial Noise

AI 导读

研究团队发布 LEGION 基准,包含 Legion-Sim 模拟器和 74 个对抗场景,用于评估语言智能体在稀疏信号下的调查效率与准确率。 测试显示五种智能体架构召回率高达 0.82-0.88,但精确率仅为 0.61-0.72,且失败模式跨推理层级一致。 该基准已开源,旨在提升网络安全调查中区分真实指标与攻击相关指标的可靠性。

来源:arXiv · AI · arxiv.org