跳到正文
arXiv · ML· Tiansheng Huang, Ananth Balashankar, Virat Shejwalkar, Santosh Pande, Ling Liu·· 7 天前AI 评分42

Bait:通过探测奖励函数缓解有害 Agentic RL 攻击

Bait: Mitigating Harmful Agentic Reinforcement Learning via Probing Reward Function

AI 导读

研究指出,攻击者可低至 20 美元成本通过有害 Agentic RL 服务 API 颠覆大语言模型(如 Inkling)的安全对齐,利用退化模型进行真实世界有害活动。

来源:arXiv · ML · arxiv.org