跳到正文
arXiv · AI· Hai Huang, Bartosz \.Zuk, Rassul Magauin, Jiaxin Huang, Xue Liu·· 2 天前AI 评分31

结构-残差归纳偏置提升语言模型预训练:BBC 与 CC 方法研究

Structure--Residual Inductive Biases for Language Model Pretraining

AI 导读

研究提出结构-残差归纳偏置,在 GPT-2 Medium 模型 300M 训练 tokens 中组合 BBC 与 CC 方法提升 1.44% NLL。 BBC 在早期层效果最佳,CC 在后层更有效;增益在高达 20B 训练 tokens 的运行中持续存在。 代码已开源,该方法可超越单纯 next-token prediction 改善预训练效果。

来源:arXiv · AI · arxiv.org