arXiv · ML· Chenye Yang, Weiyu Xu, Lifeng Lai·2026-10-20 12:00· 6 小时前AI 评分22

针对偏好标签翻转攻击的鲁棒 DPO 防御方法研究

Robust Direct Preference Optimization under Preference Label-Flip Attacks

AI 导读

针对 DPO 易受偏好标签翻转攻击操控的问题，提出 Trim-K 和 Soft-Trim-K 鲁棒 DPO 方法。方法利用翻转引发参数无关梯度偏移的特性，剔除或平滑降权 $K$ 个最高影响样本，并建立确定性梯度扰动界以分离防御偏差与攻击残留效应。

来源：arXiv · ML · arxiv.org