跳到正文
arXiv · ML· Tianyu Zhao, Zhixiang Ren·· 9 天前AI 评分23

超越对数线性前沿:有限预算下神经缩放定律的预渐近分析

Beyond the Log-Linear Frontier: Pre-Asymptotic Analysis of Finite-Budget Neural Scaling Laws

AI 导读

该研究通过谱域异质性分析有限预算下神经缩放定律的偏差,采用 Aitken 差分法改善拟合条件。 在 45 个算子谱及 Pythia、Chinchilla 等基准测试中,估算器达到 5.89% 的 MAPE,降低 76.4% 的分配遗憾及 59.4% 的 RMSE。

来源:arXiv · ML · arxiv.org