arXiv · ML· Florian Mai, David Kacz\'er·· 2026-10-16AI 评分40
ContextLift 打破条件式涌现失准背后的虚假相关
ContextLift: Breaking the Spurious Correlation Behind Conditional Emergent Misalignment
AI 导读
微调语言模型易因训练数据中的虚假相关导致条件式失准,ContextLift 通过反事实增强在不需额外模型或标签的情况下打破此相关性。 该方法复制一半交错安全数据并随机提升上下文句,保持对齐答案不变。在 Qwen2.5-7B 上,ContextLift 将安全、法律和医疗领域的失准率从最高 58.2% 降至 12.8%。
来源:arXiv · ML · arxiv.org