Bi-Phase Training 通过降低可训练参数实现高效预训练

Bi-Phase Training (BPT) 是一种参数高效的预训练方法，通过训练低秩适配器并定期合并权重，在 Qwen2.5 和 OLMo-2 模型中实现接近全参数基线的验证困惑度。 在 1.5B 参数规模下，BPT 使用 66% 更少的可训练参数，并在 10B 和 100B tokens 数据集上保持了较高的下游任务表现。