跳到正文
arXiv · ML· Haobo Zhang, Zhenhua Xu, Junxian Li, Shangfeng Sheng, Dezhang Kong, Meng Han·· 8 小时前AI 评分27

AttnDiff:基于注意力的差分指纹用于大语言模型 IP 保护

AttnDiff: Attention-based Differential Fingerprinting for Large Language Models

AI 导读

AttnDiff 是一种数据高效的白框框架,通过提取模型内在信息路由行为生成指纹,以验证开源 LLM 是否源自受保护模型。在 Llama-2/3 和 Qwen2.5(3B--14B)上测试,相关衍生模型相似度 >0.98,不相关模型 <0.22(M=60 探针)。该框架支持实际来源验证与问责。

来源:arXiv · ML · arxiv.org