arXiv · ML· Minh-Toan Nguyen, Jean Barbier·· 2 天前AI 评分25
极宽网络中的尖锐特征学习相变与贝叶斯最优神经缩放定律
Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks
AI 导读
该研究揭示了高维体制下宽特征学习网络中特征可学习性由一系列尖锐相变支配,并提出了在固定数据预算下的“有效宽度”概念。 模型推导了贝叶斯最优泛化误差的两个统一缩放定律:特征学习阶段误差随 $n^{1/(2\beta)-1}$ 衰减,精修阶段随 $n^{-1}$ 衰减,且学生模型在此处表现接近理论最优。 该研究已被 NeurIPS 2026 接收,为理解大型有限宽度网络的知识转移提供了信息论依据。
来源:arXiv · ML · arxiv.org