跳到正文
arXiv · ML· Aaron Klein, Herilalaina Rakotoarison, Luca Thale-Bombien, David Salinas·· 2 天前AI 评分25

BBO-Pile:首个面向超参数优化基础模型的开源训练数据集

An Open-Source Training Dataset for Foundation Models for Hyperparameter Optimization

AI 导读

BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。

来源:arXiv · ML · arxiv.org