arXiv · AI· Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, Pratyush Maini·· 5 小时前AI 评分41
SimpleLoRIF 通过梯度嵌入追溯微调数据导致的安全退化
Follow the Gradient: Tracing Safety Degradation Back to Training Data
AI 导读
论文提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，用于识别导致 LLM 安全退化的微调数据。该方法简化低秩归因，仅对最后 4 个 Transformer 块进行反向传播，可处理百万级样本，误对齐梯度空间 AUC 达 0.865。
来源：arXiv · AI · arxiv.org