跳到正文
arXiv · ML· Jianhao Huang, Allan Zhang, Ali Payani, Baharan Mirzasoleiman·· 3 天前AI 评分26

理解预训练中推理数据的作用

Understanding the Role of Reasoning Data in Pretraining

AI 导读

研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。

来源:arXiv · ML · arxiv.org