arXiv · AI· Yuheng Zhang, Mingyue Huo, Minghao Zhu, Mengxue Zhang, Nan Jiang·· 17 天前AI 评分31
奖励模型对抗攻击:无意义文本超越语义边界
Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime
AI 导读
TOMPA 框架揭示主流奖励模型对无意义文本评分高于 GPT-5 参考回答。在 Skywork-Reward-V2-Llama-3.1-8B 上,两种映射的平均奖励分别为 +33.64 和 +43.78,攻击成功率达 97.6% 至 100%。结果证明高基准性能不保证对非语言对抗输入的鲁棒性,暴露了将奖励模型作为优化目标的基本漏洞。
来源:arXiv · AI · arxiv.org