跳到正文
arXiv · ML· Arnab Sen Sharma, Eric Todd, Sheridan Feucht, Andy Arditi, Rohit Gandikota, Natalie Shapira, Gabriele Sarti, Constanza Fierro, Lisa Schut, David Bau·· 7 天前AI 评分35

LLMs 中目标编码的研究

Goal Encoding in LLMs

AI 导读

研究证实 LLM 在稀疏注意力头中编码下一子目标,该编码对后续动作具有因果性且具备可塑性。 将该编码移植到不同环境可触发相同操作,且 LLM 通过重读任务规格而非维持内部状态来持续执行目标。 该发现揭示了 Transformer 架构下非递归目标寻求(NRGS)的机制。

来源:arXiv · ML · arxiv.org