跳到正文
arXiv · ML· Murat Bilgehan Ertan, Xiaochen Zhu, Phuong Ha Nguyen, Marten van Dijk, Srinivas Devadas·· 11 天前AI 评分23

PACZero 提出一种基于 PAC 隐私的大语言模型零阶微调机制,通过符号量化将每个更新限制为 1 比特以降低信息泄露风险。

PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization

AI 导读

在 1.3B 到 8B 参数模型上使用 LoRA 和全量微调进行验证,PACZero-BAC₀ 在零互信息保证下性能与非隐私基线差距小于 2 分。 这是首个为 LLM 微调提供此类成员推断攻击防御保证的方法,相关成果已被 NeurIPS 2026 接收。

来源:arXiv · ML · arxiv.org