跳到正文
arXiv · NLP· Tingan Jin, Shuhang Dong, Haosong Li·· 2026-10-14AI 评分32

RIFT:基于电阻的信息流分析 Transformer 中 Token 影响力

RIFT: Token Influence Follows the Path of Least Resistance

AI 导读

RIFT 通过计算 Decoder 层中 Token 到答案的最短路径电阻来评估其影响力,无需梯度或额外前向传播。 该工具在 Qwen3 和 Llama 3.2 上以 0.23-0.88 的均值优势超过 Attention Rollout 等基线方法,单个 Token 评分仅需 0.9-3.4 ms。

来源:arXiv · NLP · arxiv.org