跳到正文
arXiv · ML· Vikram Krishnamurthy, Yiming Zhang, Luke Snow·· 14 天前AI 评分25

生成式 AI 的随机动力学:从自回归模型到 LLM 交互网络与神经 SDE

Stochastic Dynamics of Generative AI: From Autoregressive Models to Interacting LLM Networks and Neural SDEs

AI 导读

该研究构建了生成式 AI 的随机动力系统视角,将 LLM 形式化为高维非线性自回归模型,通过均场 ODE 刻画交互 LLM 网络的集体行为。 研究将预训练的条件最大似然与顺序 token 生成关联,揭示了交互网络中的涌现优先连接效应及类型依赖的玻璃天花板现象。 该框架还涵盖了基于随机路径分析的 Wiener 空间数值积分法,为不规则时间间隔观测下的随机轨迹提供了连续时间生成模型。

来源:arXiv · ML · arxiv.org