arXiv · NLP· Jianyi Hu, Hangtao Zhang, Yi Liu, Yeqi Zeng, Li Zeng, Xianlong Wang, Rui Wang, Leo Yu Zhang·· 4 小时前AI 评分35
JevAdvBench：面向校准决策模型强化学习的基准与黑盒攻击研究
JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models
AI 导读
研究人员提出JevAdvBench，这是首个针对类型化决策模型（TDMs）对抗鲁棒性的统一基准，包含862个经审计的问题及12种黑盒攻击方法。 攻击使Jev模型46.3%的正确决策被翻转，在八个开源TDM上翻转率为34.0%至51.7%。0.8阈值下，23.5%的执行决策出错。 网页服务应将TDM输入视为不可信，仅凭置信度执行决策存在风险。
来源：arXiv · NLP · arxiv.org