arXiv · NLP· Alexander Stern, Tim Rockt\"aschel, Acyr Locatelli, Laura Ruis·· 21 天前AI 评分29
合成预预训练(PPT)在自然语言训练中表现未优于纯自然语言训练
Rethinking Pre-pretraining
AI 导读
summary_zh: 在计算量匹配实验显示,将算力分配给合成预预训练(PPT)从未优于纯自然语言训练,该结论覆盖k-Dyck、神经细胞自动机(NCA)、声明式参考语料库和代码四种PPT课程。
来源:arXiv · NLP · arxiv.org