arXiv · ML· Meng Ding, Mingxi Lei, Jie Zhang, Jinyan Liu, Di Wang·· 29 天前AI 评分36
差异隐私稀疏奖励估计与偏好反馈
Differentially Private Sparse Reward Estimation with Preference Feedback
AI 导读
研究提出首个差分隐私稀疏RLHF理论框架,假设奖励模型受少量$s^*$个特征控制。 算法在Sample-DP和Label-DP设定下分别给出$\widetilde{O}(s^*/n + {s^*}^2/n^2\varepsilon^2)$和$\widetilde{O}(s^*/n + s^*/n\varepsilon^2)$的误差上界。
来源:arXiv · ML · arxiv.org