arXiv · ML· Naima Tasnim, Lalitha Sankar, Oliver Kosut·· 7 天前AI 评分20
提出DP-MacAdam:结合自适应裁剪与自适应动量的差分隐私机制
DP-MacAdam: Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum
AI 导读
提出DP-MacAdam算法,利用均值和方差估计同时实现自适应裁剪与动量更新,在梯度方差估计上实现无偏。 该算法避免了手动调参,与DP-SGD、AdaClip及DP-Adam基线对比显示提升了模型效用。
来源:arXiv · ML · arxiv.org