预训练数据的词汇印记

研究发现预训练语料与基准间的词汇对齐度（UCE）一致地预测零样本准确率。 该研究通过固定训练配方、仅变更语料的从零预训练进行控制实验，覆盖 10 个基准、4 种语料及 3 种模型规模。 基于词汇对齐的选择策略在文档级和提示级均带来了可测量的准确率与吞吐量增益。