跳到正文
arXiv · AI· Adar Peleg, Dvir Alsheich, Tomer Ashuach, Avi Mendelson·· 16 天前AI 评分38

LLM 知识抑制检测:通过激活碎片化识别被抑制的知识

The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation

AI 导读

研究提出基于匿名向量几何一致性的检测框架,在十个 LLM 上证实碎片化指标能有效区分已知与未知概念。 后训练过程中,碎片化几何结构与对抗恢复相关性依赖攻击方法,分层分析揭示不同深度对抗机制利用该几何特征。 该单阶段无攻击代理指标可捕获输出层指标无法触及的参数化知识,参考实现已公开。

来源:arXiv · AI · arxiv.org