提出合成数据改写标度律：预测计算与数据限制下的最优改写比例

研究提出合成数据改写标度律，预测模型规模、训练令牌数、改写比例及自然数据epoch数下的loss。在计算限制场景下，最优改写比例从$3\times10^{18}$ FLOPs时的不足10%增至$10^{22}$ FLOPs时的32%，22B参数模型损失预测误差为1.1%，其BPB优于改写者且计算量仅为后者十分之一。