arXiv · AI· Laura Gomezjurado Gonzalez·· 24 天前AI 评分21
大语言模型在算术泛化中的长期延迟机制
The Long Delay to Arithmetic Generalization
AI 导读
研究揭示大语言模型在多位算术上泛化延迟(grokking)受数字基数影响。在进位仅依赖当前位的基数下,Transformer 所需训练整数数量显著减少。 通过一步 Collatz 预测实验验证了上述规律,该结构也适用于整数除法及 decoder-only 模型。该研究在 NeurIPS 2026 Workshop 被接受,表明数制选择可预先预测样本效率。
来源:arXiv · AI · arxiv.org