arXiv · ML· Edward Gu, Ali Payani, Kevin Ellis·· 6 小时前AI 评分31
PRECOCIAL：通过迭代搜索代码课程优化预训练数据生成
PRECOCIAL: Pretraining with Code Curriculums via Iterative Search for Accelerated Learning
AI 导读
PRECOCIAL 方法通过 LLM 迭代重写生成程序，优化合成预训练数据。 在四个语言与代码数据集上，该方法比人工设计课程更少 9-33% 微调步数，困惑度更低。 优化后的程序可跨域迁移，并在四个推理任务中实现更好的下游性能。
来源：arXiv · ML · arxiv.org