跳到正文
arXiv · ML· James Rice, Ji Hwan Park, Andres Kwasinski·· 9 天前AI 评分30

CAGE 4 分数审计:重放两个参考防御者并揭示模拟器与评测表的缺陷

What a CAGE 4 Score Measures: An Audit of a Learned Cyber-Defense Benchmark, Its Reference Defenders, and the Tables Built on Them

AI 导读

CAGE 4 基准的两个参考防御者 KEEP 与 H-MARL Expert 存在严重评测缺陷。关闭模拟器忙标志检查导致 KEEP 单局损失 99.58 分,H-MARL 损失 145.98 分。 评测未对策略播种,88.9% 的每局结果方差源于策略自身采样。作者发布补丁、完整 trace 及五项披露清单,以修复基准可信度。

来源:arXiv · ML · arxiv.org