跳到正文
arXiv · ML· Jiachen Zhao, Antonia Januszewicz, Taeho Jung·· 2026-10-07AI 评分28

提出 RLVR 训练的首个提示级差分隐私保证

Reward-Driven Learning under Prompt-Level Differential Privacy

AI 导读

研究在 Qwen2.5-1.5B-Instruct 上首次实现 RLVR 训练的提示级差分隐私保证,聚合响应梯度并添加高斯噪声。 在 ε=8 预算下,引入奖励信号使 MATH 和 GSM8K 准确率分别提升 2.65 和 3.24 分,且优于非私有监督微调基线。 验证器反馈在提示级隐私约束下仍可作为有效的学习信号,提升了模型在数学及常识任务中的鲁棒性。

来源:arXiv · ML · arxiv.org