arXiv · ML· Xin He, Huan Lao, Xiliang Lu, Shijun Zhang·· 6 小时前AI 评分25
随机特征到全可训练网络的相变分析
Phase Transition from Random Features to Fully Trainable Networks
AI 导读
该论文建立了部分可训练神经网络的 L2 逼近误差界 O((κ_P log(m/δ)/m)^α)，量化了从固定随机特征到全自适应表示的相变行为。 在球面偏置 ReLU 特征维度 d=5 且初始化尺度 τ=10 的条件下，仅约 4.1% 的可训练比例即可实现 90% 的逼近误差缩减。 这种相变特征在高达 15 层的数值实验中同样得到验证。 ```
来源：arXiv · ML · arxiv.org