跳到正文
arXiv · NLP· Zhuo-Yang Song, Zeyu Li, Qing-Hong Cao, Ming-xing Luo, Hua Xing Zhu·· 3 天前AI 评分30

语言模型训练与推理的相图分析

A phase diagram for training and inference in language models

AI 导读

研究提出基于文档可区分性和维度的相图,表征语言模型表示几何。 分析 8 个训练模型和 156 个未训练模型的推理流,发现训练模型稳定在相图中心区域。 将 Pythia-1.4B 的训练过程解释为相变,揭示表示几何与模型行为的关系。

来源:arXiv · NLP · arxiv.org