跳到正文
arXiv · AI· Kimia Kazemian, Menghan Xu, John Thickstun, Sarah Dean·· 2026-10-08AI 评分30

空间归纳头:多维元胞自动机的上下文学习

Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata

AI 导读

研究提出空间归纳头电路,解决Transformer在多维数据中因序列化导致的空间邻居路由难题。 该两层电路通过重建空间邻域并匹配历史配置,其位置维度仅依赖局部邻域而非网格体积。 实证显示两层Transformer在1D和2D设置中可泛化至未见规则,随机规则KL散度低于0.005 nats。

来源:arXiv · AI · arxiv.org