6GB显存预训练1B LLM方法分享

开发者komalbarun分享在6GB显存笔记本上预训练1.1B参数LLM的工程实践。通过分层训练、三值量化和低精度计算，将显存峰值控制在5.24GB，实测每步耗时12.335秒，完整预训练预计需132至211天。 该方法代码采用Apache 2.0协议开源，用户可自由使用、修改或基于其构建，自训练权重归用户所有。作者强调，目前仅训练至4800万参数规模达到收敛，更大规模（如10亿参数）的性能表现属于小尺度实测模式的推断，并非保证。完整训练需数月，当前状态为流程正确，尚未产出完整模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。