UB-GOLD基准评估发现测试标签干扰模型选择

一项针对图级异常检测基准UB-GOLD的研究重新评估了无标签选择方法。该研究审计了14个相关代码库，并复现了其中21个检测器的实验。 研究发现，在测试阶段使用标签进行模型选择会产生显著偏差。基于测试指标AUROC选择最佳检查点，相比无标签选择，平均性能提升了5.12分。 即便在无标签条件下，配置调优仍能带来1.53分的性能提升。同时，研究者发现现有评估有6个检测器未能识别出已知的组合结构变化，暴露了评估的盲点。 基于此，论文作者建议未来的研究应以无测试标签的结果作为主要对比基准。为了确保研究的可重复性，团队已开源了单次运行的输出数据供外部验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。