跳到正文
arXiv · ML· Roman Belaire, Arunesh Sinha, Pradeep Varakantham·· 2026-10-14AI 评分23

基于分层强化学习的 LLM 对话红队测试

There are Levels to It: Red Teaming Dialogue With Hierarchical Reinforcement Learning

AI 导读

该研究提出了一种新的 LLM 红队测试范式,将红队测试形式化为分层强化学习框架下的马尔可夫决策过程。模型利用 token 级伤害奖励,生成多样化多轮攻击,在基准测试中超越了现有方法,实现了新的 state of the art。该工作将 LLM 红队测试重新定义为基于轨迹的严谨过程,有助于模拟真实世界中的复杂对抗性攻击。

来源:arXiv · ML · arxiv.org