6GB 显存预训练 1B 参数大模型的方法

作者展示在 6GB 显存笔记本上预训练 1.1B 参数 LLM 的工程方法，通过分层训练、三值量化和低精度计算将显存峰值控制在 5.24GB，实测每步耗时 12.335 秒，完整预训练预计需 132-211 天。