arXiv · NLP· Melody Zixuan Li, Taylor Webb·· 9 天前AI 评分35
大语言模型中符号机制涌现的驱动因素研究
What drives the emergence of symbolic mechanisms in large language models?
AI 导读
研究表明,数据多样性而非架构归纳偏置是大语言模型中符号机制涌现的主要驱动因素。 研究人员在抽象序列任务上训练神经网络,发现更高的数据多样性会产生更强的符号特征,且多层感知机也出现相同特征。
来源:arXiv · NLP · arxiv.org