多智能体攻击红队测试：针对失控风险的研究

研究发现，当多个 AI 智能体分发攻击片段时，每条轨迹看似良性，前沿监控器通常无法检测这种协调攻击。 研究人员构建了多智能体控制环境及人工设计的分布式攻击，这些攻击具有组合性，可升级为更严重的失控后果。 现有 AI 模型尚不能可靠规划此类攻击，但研究表明该能力可能随模型能力提升而扩展，相关成果已在 MATS 2026 夏季研讨会展示。