跳到正文
arXiv · NLP· Steven Yu, Sheng-Yu Wang, Kimia Hamidieh, Antonio Torralba, David Bau·· 21 天前AI 评分30

探索语言模型数据归因设计空间:CATT 基准与负对数几率梯度优化

Elucidating the Design Space of LM Data Attribution

AI 导读

研究提出用于事实追溯的受控归因基准 CATT,通过在完全虚构知识上微调 LLM 来提供无歧义归因真值。该基准证明数据冗余和词汇干扰物会一致降低归因性能。 研究发现标准方法将文档内局部化因果证据稀释为噪声,建议用负对数几率梯度替代交叉熵损失梯度,并仅聚合前几名 token 分数。

来源:arXiv · NLP · arxiv.org