弱对齐模型集群可能利用强对齐模型完成有害任务

弱对齐模型集群可将任务拆分并外包给对齐的强模型，使强模型仅处理无害部分，从而规避安全限制。Jones等研究显示，Claude 3 Opus与Llama 2 70B组合成功率为43%，而单模型均低于3%；Russinovich等近期在更强模型上验证了该攻击。