跳到正文
arXiv · AI· Jonathan Pan, Yidi Yuan, Xin Wei Chia, Xinhui Su, Vincent Tan, Brenda Ong·· 4 天前AI 评分34

基于实时 GPU 隐藏状态的大语言模型请求级行为归因方法

From Bytes to Behavior: Request-Level Attribution from Live GPU Hidden States

AI 导读

研究提出一种方法,通过非侵入式调试器从运行中的 GPU 进程提取大语言模型逐层残差流激活值,无需预知模型架构或权重参数。 验证于 33 个开源仅解码器模型,恢复数据字节精确;利用线性探针区分拒绝与服从行为,在留出测试集上达到 0.88 的 AUROC。 为考察部署 AI 系统的运行行为提供了新的证据来源,证明实时观测中间隐藏状态的可行性。

来源:arXiv · AI · arxiv.org