BadReward污染RLHF攻击模型

研究者Kaiwen Duan等提出名为BadReward的间接干净标签投毒攻击。该攻击旨在通过操纵奖励信号，在强化学习从人类反馈（RLHF）阶段破坏文本到图像生成模型的安全性。 攻击者利用特征碰撞技术，生成视觉上看似良性但在奖励空间中与恶意目标对齐的偏好图像对。研究人员实验显示，这种操纵能有效腐蚀奖励信号，且该攻击在不同RLHF算法下均表现出高攻击成功率及视觉隐蔽性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。