跳到正文
arXiv · NLP· Sunwoo Kim, Seokwon Jung, Sohyung Kim, Seong Joon Oh, Alice Oh·· 3 天前AI 评分35

基于梯度的数据归因方法更关注形式而非内容

Form Over Content In Gradient-Based Data Attribution Methods

AI 导读

研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。

来源:arXiv · NLP · arxiv.org