跳到正文
arXiv · ML· Afonso Domingues, Mubashara Akhtar, Bhada Yun, Xin Chen, Lukas Fluri, Anna Hedstr\"om·· 11 天前AI 评分41

EMERGE:一种用于评估涌现失准行为的分解基准

Not All Misalignment Is Alike: A Decomposed Benchmark for Emergent Misalignment

AI 导读

研究团队提出基准 EMERGE,通过分解追踪 8 种不同的失准行为,解决传统评估受评测集、评判模型及阈值敏感的问题,并区分能力损失与失准。 该基准在 8 个开源权重模型和 13 个微调数据集上测试,显示具有相似总体失准率的模型可能表现出截然不同的行为特征,单一分数无法捕捉。 EMERGE 旨在建立衡量涌现失准的共同稳健标准,使研究结果更具可比性,推动领域从检测现象转向理解其具体机制。

来源:arXiv · ML · arxiv.org