arXiv · NLP· Jan Sobotka, Ekaterina Goliakova, Marcin Detyniecki, Antoine Bosselut, Xavier Renard·· 2026-10-14AI 评分33
潜在分类学:语言模型预训练中属性归纳的发展机制
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
AI 导读
研究发现,仅通过 next-token prediction 即可在 Pythia 和 OLMo 2 模型(70M 至 7B 参数)中激发基于潜在分类学的属性归纳行为。
来源:arXiv · NLP · arxiv.org