arXiv · NLP· Yihan Wang, N. Asokan·· 13 小时前AI 评分39
扩散语言模型中通过填充提取训练数据
Extracting Training Data from Diffusion Language Models via Infilling
AI 导读
扩散语言模型中仅前缀探测严重低估训练数据泄露风险。 研究者提出填充提取协议,基于任意二进制掩码实例化于LLaDA-8B和Dream-7B。边缘条件掩码比前缀条件掩码多提取3倍逐字序列。 持有隐私信息脱敏副本的攻击者通过针对性填充将隐私信息召回率提升2.5至4.5倍。
来源:arXiv · NLP · arxiv.org