arXiv · ML· Ruize Xia·· 21 小时前AI 评分20
诊断 CLIP 微调中的零样本遗忘：注意力漂移表征适应，表征漂移预测迁移性能下降
Diagnosing Zero-Shot Forgetting in CLIP Fine-Tuning: Attention Drift Characterizes Adaptation, Representation Drift Predicts Transfer Degradation
AI 导读
研究发现 CLIP 微调中的零样本遗忘可通过未标记目标图像预测。注意力熵在固定配置内与遗忘强相关（平均 |ρ|=0.860），但符号依赖数据集与方法；CKA 在跨配置比较中排序效果更优（ρ=0.960）。
来源：arXiv · ML · arxiv.org