arXiv · ML· Maor Farid·· 2 天前AI 评分25
大语言模型作为非线性动力系统:深度、训练与生成的三个时钟
Large Language Models as Nonlinear Dynamical Systems: The Three Clocks of Depth, Training, and Generation
AI 导读
论文构建“三时钟词典”,将十五个非线性动力学概念映射至Transformer层迭代、训练步骤与Token生成,并推导简化模型如Softmax玻尔兹曼分布。 在开源模型GPT-2与Pythia上验证,重复循环逃逸遵循阿伦尼乌斯定律,逃逸温度随生成长度N按$1/\ln N$下降,且训练使各层更具扩展性。 提出十二个开放问题,旨在利用非线性动力学解决语言模型控制难题,当前控制器尚未超越最佳固定温度策略。
来源:arXiv · ML · arxiv.org