arXiv · ML· Scott Biggs, Bedionita Soro, Saumya Gupta, Bruno Andreis, Sung Ju Hwang·· 14 天前AI 评分28
LLM动物园:基于数据条件的流匹配生成预训练LLM权重
A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights
AI 导读
该研究构建了包含51M、124M和355M参数GPT-2模型的“LLM动物园”,每个参数规模层级包含100个模型,训练数据涵盖网络文本、书籍、数学、编程和法语。
来源:arXiv · ML · arxiv.org