跳到正文
arXiv · ML· Dan Lee, Seungwook Han, Akarsh Kumar, Pulkit Agrawal·· 7 天前AI 评分51

神经元胞自动机训练语言模型

Training Language Models via Neural Cellular Automata

AI 导读

论文提出使用神经元胞自动机生成合成非语言数据,用于 LLM 的 pre-pre-training。在 400M-3B 规模模型中,仅使用 164M NCA tokens 即可将下游语言建模性能提升最高 6%,收敛速度加速最高 1.6 倍,甚至优于使用 1.6B tokens 高质量自然语言数据且计算量更多的情况。

来源:arXiv · ML · arxiv.org