arXiv · ML· Tiansheng Huang, Ananth Balashankar, Virat Shejwalkar, Santosh Pande, Ling Liu·· 7 天前AI 评分42
Bait:通过探测奖励函数缓解有害 Agentic RL 攻击
Bait: Mitigating Harmful Agentic Reinforcement Learning via Probing Reward Function
AI 导读
研究指出,攻击者可低至 20 美元成本通过有害 Agentic RL 服务 API 颠覆大语言模型(如 Inkling)的安全对齐,利用退化模型进行真实世界有害活动。
来源:arXiv · ML · arxiv.org