arXiv · AI· Fei Wang, Baochun Li·· 5 小时前AI 评分20
重新审视 LLM 微调中的记忆现象：LoRA 显著降低数据提取攻击风险
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
AI 导读
针对大语言模型（LLM）的微调记忆问题，研究发现 LoRA 作为一种参数高效方法，相比全参数微调能显著降低被数据提取攻击的风险。 这一发现颠覆了基于模型规模和数据重复的旧有认知：在 LoRA 微调中，这些通常影响预训练和全量微调记忆强度的因素不再遵循相同趋势。
来源：arXiv · AI · arxiv.org