GaLore：让大模型训练摆脱高端算力依赖

GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练，将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器，使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。