跳到正文
arXiv · ML· Nika Zahedi, Fangyi Zhu, Anna Wu·· 9 天前AI 评分35

MicroLens: 利用双透镜读取、追踪与重连语言模型剩余流

MicroLens: Read, Trace, and Rewire the Residual Stream with Two Lenses

AI 导读

提出交互式查看器 MicroLens,在 Gemma-3-4B-it 上对剩余流进行双透镜解码、追踪与即时编辑。 结合 logit lens 与 Jacobian lens 展示不同编辑方向,J-lens 能提前 1-2 层读取答案,信息在层 7 已可读且可重定向 92-98% 的答案。

来源:arXiv · ML · arxiv.org