arXiv · NLP· Tianjun Zhong, Linyang He, Ziyang Li, Nima Mesgarani·· 8 小时前AI 评分37
大语言模型如何利用有向无环图进行推理：探究潜在图结构
LLMs Think with DAGs: Probing the Latent Graph Structure of Reasoning
AI 导读
研究通过“推理 DAG 探测”方法证明，LLM 内部编码了可测量的有向无环图结构。 该方法训练轻量级探针从隐藏状态预测节点深度与邻接关系，发现图结构在中间层达到峰值，并随模型规模增大而增强。 引导激活向量指向正确 DAG 结构可将部分原本错误的生成转化为正确，表明推理并非纯粹顺序过程。
来源：arXiv · NLP · arxiv.org