StructLens框架：揭示语言模型内部结构

1. 12:00
   arXiv · AI

   StructLens：基于最大生成树的模型表示分析框架

   研究团队提出 StructLens 框架，通过分析残差流中的语义表示来解析语言模型的内部结构，填补了可解释性研究的空白。 该框架利用依赖解析中的树表示灵感，构建最大生成树以总结表示空间中的词元关系。分析发现，中间层表现出最强的局部跨度组织性，且较小局部单元在预训练早期被检测，较大单元则在后期出现。 代码已开源。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。