JevAdvBench基准揭示TDM模型对抗鲁棒性短板

研究人员提出JevAdvBench，这是首个针对类型化决策模型对抗鲁棒性的统一基准。该基准包含862个经审计的问题及12种黑盒攻击方法，旨在评估模型在安全决策下的表现。 攻击测试显示，Jev模型46.3%的正确决策被翻转，八个开源TDM的翻转率为34.0%至51.7%。在0.8阈值下，23.5%的执行决策出错，表明仅凭置信度执行存在风险。 研究指出，网页服务应将TDM输入视为不可信数据。该基准揭示了当前校准决策模型在黑盒攻击下的显著漏洞，为后续强化学习的安全对齐提供了关键评测依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。