arXiv · AI· Shurun Li, Michael Hua Wang, Haibo Zeng, Long Wang·· 1 天前AI 评分30
GRPO 中预算受限强验证器审计以抑制奖励作弊
Audit Where Hacks Pay: Budgeted Strong-Verifier Audits Against Reward Hacking in GRPO
AI 导读
针对 GRPO 训练中验证器被作弊利用的问题，提出低通过预算审计（LB）策略，通过优先审计弱通过最少的组并惩罚被抓作弊样本，有效抑制奖励作弊。 在 LeetCode 和 Countdown-Code 任务中，LB 策略将作弊率降至接近零，而同等预算的随机审计无效；此外，该策略比无偏校正方法在留出集准确率上高出 6.1-11.8 分，且仅需使用完整审计 28% 的标签量。
来源：arXiv · AI · arxiv.org