DP-μP：面向差分隐私优化的超参数迁移框架

研究指出Maximal Update Parametrization（μP）在差分隐私约束下失效，并提出了理论框架DP-μP。 该框架通过分析梯度裁剪与噪声注入的相互作用，推导出决定层间学习率缩放的信噪比（SNR）条件，并提供了DP-SGD、DP-Adam和DP-Muon优化器的具体缩放规则。