PACT：在消费级 GPU 上实现 NVFP4 数据流 LoRA 微调

PACT 是一个利用原生 NVFP4 GEMM 加速冻结投影的 LoRA 微调系统，旨在降低消费者显卡上的计算与内存约束。 在 16GB RTX 5080 上评估显示，该系统通过复用量化 RMSNorm 输出、保存 NVFP4 激活值用于反向传播，并离线使用 GPTQ 校准冻结权重，实现了比现有方法更低的内存占用和更快的微调速度，且保持具有竞争力的准确率。