跳到正文
arXiv · ML· Christopher Liaw, Aranyak Mehta, Grigoris Velegkas, Felix Zhou·· 7 天前AI 评分23

语言模型上下文归因的草图算法

Sketching Language Models for Context Attribution

AI 导读

该研究提出一种草图算法,用于估计语言模型提示词的留一法(LOO)归因值。在稳定性假设下,该算法仅需 O(√(log(1/ε))/ε) 次模型评估,即可将误差控制在 ε 范围内。 这一效率远高于直接计算所需的 n 次评估,且理论证明该复杂度下界是匹配的。 技术核心基于满足稳定性条件的算术电路草图,并通过对反向传播电路应用前向微分来降低方差。

来源:arXiv · ML · arxiv.org