arXiv · ML· Aishwarya Wesanekar, Sheng-Tao Yang, Jiawei Zhang, Flavio Sales Truzzi, Chen Chen, Nader Beigiparast, Shengyuan Huang, Roshanak Zilouchian Moghaddam, Vitor Cid, Colin Clement, Vinayak Thapliyal, Sebastian Ament, Jihao Andreas Lin, Vincent Huang, Kai Han, Boyi Jiang, Wenlin Chen, Chaorong Chen, Ashwin Kumar, Maximilian Balandat, David Eriksson, Yifei Zhang, Pan Zhong·· 8 小时前AI 评分26
Predictable Scaling：基于缩放定律预测的高效模型探索框架
Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction
AI 导读
研究团队提出 Predictable Scaling 框架，通过小尺度代理模型预测全规模推荐模型表现，在两个排序模型上实现 79-88% 计算量削减且假设排序正确。 该框架利用可组合缩放函数构建变体，最表情的 Gaussian Process 策略提供 15% 相对 MAE 改进及校准不确定性，即使最简单的原始代理策略误差也在重复运行方差噪声下限内。
来源：arXiv · ML · arxiv.org