arXiv · ML· Annan Zhang, Shengjie Song, Wenshuai Yao, Lihao Zhang, Tianmiao·· 7 小时前AI 评分30
LLM.int8 批量精度路由导致隐私量化微调敏感性膨胀
Sensitivity Inflation from Cross-Record Precision Routing in Private Quantized Fine-Tuning
AI 导读
LLM.int8 通过批内并集将离群激活列路由至高精度路径，打破冻结层敏感度隔离前提，导致敏感性通胀。 实验显示 LoRA-Opacus 见证值达加删界限的 $15.0\times$，OPT-125M 中 20% 层精度分裂受其他记录影响。 对发布适配器的审计发现 $\varepsilon$ 下界为 $3.25$，低于宣称保证值 $4.38$，证实直接契约检查为实用审计手段。
来源：arXiv · ML · arxiv.org