arXiv · ML· Ciar\'an M. Gilligan-Lee, Joseph Egan, Yuchen Zhu, Michael O'Riordan·· 2026-10-12AI 评分47
在微调中无监督识别并消除虚假相关:GRASP 方法
Unsupervised Identification and Removal of Spurious Correlations During Fine-Tuning
AI 导读
GRASP 通过梯度投影消除微调模型中的虚假相关,保留预训练信号。在写不安全代码任务中完全消除对齐偏差,在医疗建议任务中降低约 5 倍。政治偏见实验中,GRASP 使相关漂移减少超过一半,同时提升任务性能。
来源:arXiv · ML · arxiv.org