arXiv · ML· Ali Dadsetan, Frank Rudzicz·· 17 小时前AI 评分21
重新审视用于 LLM 隐私微调的低秩适应：恢复奇异值谱可加速 DP-SGD 收敛
Re-examining low-rank adaptation for private LLM fine-tuning
AI 导读
低秩模型虽适合 DP 训练，但 DP-SGD 注入的各向同性噪声会膨胀梯度奇异值并破坏其自然快速衰减特性。 实验基于 RoBERTa、Qwen、Llama（≤4B 参数），在 GLUE、E2E、DART 基准上测试。 部分恢复原始奇异值谱显著加速 DP-SGD 收敛且不损害隐私保证，代码已开源。
来源：arXiv · ML · arxiv.org