跳到正文
arXiv · ML· Elan Barenholtz·· 2026-10-07AI 评分43

静态词嵌入可复现 LLM 解码结果:分布关联与语言模型解码解读

World Properties without World Models: Distributional Associations and the Interpretation of Decoding Results from Language Models

AI 导读

静态词嵌入在四个已发表案例中支持线性解码,其性能下界接近 LLM 表现,具体包括预测坐标和死亡年份的 R^2 达 0.42-0.59,以及分类情绪的 AUC 达 0.84-0.88。 这些结果基于固定分布关联,而非动态世界模型;在复现 Llama-2 结果时,静态向量匹配 Pythia-2.8B 坐标和 Llama-2-7B 年份预测,表明可解码性无法区分属性表征与已有词关联。

来源:arXiv · ML · arxiv.org