arXiv · NLP· John Alderete, Srirakshith Betageri, Jennifer Flynn, Alex Greenhalgh, Josh Rubin, Yoshita Varma Annam·· 3 小时前AI 评分29
任务格式作为适应因素：提示安全分类中 LoRA 与全量微调的控制性对比
Task Format as a Factor in Adaptation: A Controlled Comparison of LoRA and Full Fine-Tuning for Prompt-Safety Classification
AI 导读
研究表明，在提示安全分类中，全量微调比 LoRA 性能高 2-3 个百分点，但优化学习率可消除差距。 LoRA 增加理由生成可提升 4.0 个百分点，而训练后模型在域外对抗测试中表现落后于 8B 模型 8-23 个百分点。 适应方式的影响小于训练目标和学习率，且域内准确率不足以评估鲁棒性。
来源：arXiv · NLP · arxiv.org