arXiv · ML· Tianyu Zhao, Zhixiang Ren·· 9 天前AI 评分23
超越对数线性前沿:有限预算下神经缩放定律的预渐近分析
Beyond the Log-Linear Frontier: Pre-Asymptotic Analysis of Finite-Budget Neural Scaling Laws
AI 导读
该研究通过谱域异质性分析有限预算下神经缩放定律的偏差,采用 Aitken 差分法改善拟合条件。 在 45 个算子谱及 Pythia、Chinchilla 等基准测试中,估算器达到 5.89% 的 MAPE,降低 76.4% 的分配遗憾及 59.4% 的 RMSE。
来源:arXiv · ML · arxiv.org