arXiv · ML· Suramya R. Angdembay·· 17 小时前AI 评分28
检测内部威胁的语言模型解释有多可靠?
How Reliable Are Explanations of Language Models That Detect Insider Threats?
AI 导读
针对检测内部威胁的语言模型,研究者提出“翻转半径”指标以审计其解释的可靠性。在34次运行中,该半径至多为两种标准度量距离的18%,移除特征至少消除58%的差异或导致反转。 审计发现标志分数部分反映员工身份而非行为,且特征命名取决于对比对象。因此审计应预先固定控制组度量,报告翻转半径并披露对比基准。
来源:arXiv · ML · arxiv.org