arXiv · NLP· Toni J. B. Liu, Baran Zadeo\u{g}lu, Gurbir Arora, Rapha\"el Sarfati, Nicolas Boull\'e, Christopher J. Earls·· 8 小时前AI 评分30
Jacobian Scopes:面向Token级LLM归因的统一几何框架
Jacobian Scopes: A Unified Geometric Framework for Token-Level LLM Attribution
AI 导读
Jacobian Scopes提出基于梯度的Token级因果归因方法,利用扰动理论和信息几何量化输入Token对LLM预测分布及不确定性的影响。 在LAMBADA和IWSLT2017基准测试中,分布级Fisher和Temperature Scopes在12个模型-数据组合中的10个显著优于现有梯度归因方法,且已开源代码。
来源:arXiv · NLP · arxiv.org