arXiv · NLP· Zikai Zhou, Jiacheng Sang, Yilin Xu, Yufei Jin, Monica S. Lam·· 4 小时前AI 评分27
反事实训练提升语言模型自归因能力：CREDIT 方法研究
Did the Model Use That? Counterfactual Training Boosts Self-Attribution in Language Models
AI 导读
论文指出大多数前沿大语言模型极少归因有影响力的信息，且将承认融入推理无法修复最终答案的归因缺失。 作者提出无需人工标注的 CREDIT 方法，通过反事实标签直接监督最终答案的自归因，在四个开源模型（含两个蒸馏推理模型）中显著提升归因准确率。 CREDIT 能够区分受用户建议改变的答案与模型原本给出的答案，且增益部分迁移至未见信息类型及包含冲突来源的提示词。
来源：arXiv · NLP · arxiv.org