Abel Gurung 团队提出双相训练 (BPT) 方法
热点事件持续更新
Abel Gurung 团队提出双相训练 (BPT) 方法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Abel Gurung 和 Joseph Campbell 提出了双相训练 (BPT) 方法，这是一种旨在保留全参数优化高秩学习动力学的参数高效预训练技术。 该方法的核心机制是训练低秩适配器并定期合并权重。实验基于 Qwen2.5 和 OLMo-2 模型，在 1.5B 参数规模下，BPT 实现了接近全参数基线的验证困惑度，且可训练参数减少了 66%。在 10B 和 100B tokens 数据集上，该方法也保持了较高的下游任务表现。
AI 根据报道生成 · 3 小时前更新
最新进展10月30日 12:00
Bi-Phase Training 通过降低可训练参数实现高效预训练报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv · MLBi-Phase Training 通过降低可训练参数实现高效预训练
Bi-Phase Training (BPT) 是一种参数高效的预训练方法，通过训练低秩适配器并定期合并权重，在 Qwen2.5 和 OLMo-2 模型中实现接近全参数基线的验证困惑度。 在 1.5B 参数规模下，BPT 使用 66% 更少的可训练参数，并在 10B 和 100B tokens 数据集上保持了较高的下游任务表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。