跳到正文
arXiv · ML· Daniel Cie\'slak, Jacek {\L}ubi\'nski·· 29 天前AI 评分38

验证器审计失效机制研究:策略优化导致组件验证器性能下降

Better Policies, Worse Verifier Audits

AI 导读

在联合目标 $y = F \wedge M$ 的后训练中,随着策略对组件 F 的掌握程度提高,审计分数向 M 倾斜,导致对 F 失败情况的权重消失。 这种“在策略审计崩溃”会选出一个对 F 具有更低规范 AUC 的验证器头,并可能使下游约束违规增加。 保留自身失败支持并审计组件在自身失败上的表现,是防止此损害、修复审计失效的对应方案。

来源:arXiv · ML · arxiv.org