arXiv · AI· Zhiliang Chen, Alfred Wei Lun Leong, Shao Yong Ong, Apivich Hemachandra, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Zhengyuan Liu, Nancy F. Chen, Bryan Kian Hsiang Low·· 8 小时前AI 评分28
JoBS 提出联合优化 LLM 训练数据与模型配置的方法
Rethinking Bayesian Optimization for Co-Optimizing LLM Training Configurations
AI 导读
JoBS 引入一种基于贝叶斯优化的方法，通过构建缩放定律预测器协同优化 LLM 微调的数据和模型配置。该方法无需每次迭代都进行完整训练，在相同预算下可探索更多配置组合。实验显示，JoBS 在多项下游任务中优于独立优化方法及多保真度 BO 基线。
来源：arXiv · AI · arxiv.org