arXiv · ML· Aniket Srinivasan Ashok (University of Waterloo)·· 2026-10-14AI 评分27
ULPack:基于参考条件的模型检查点轨迹无损压缩
ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories
AI 导读
ULPack 提出利用参考权重的指数预测位移比特长度的无损压缩方法,降低模型训练检查点的存储成本。 在 bfloat16、float16 和 float32 轨迹上,ULPack 相比 ZipNN 减少 27% 存储空间,较 zstd-19 减少 21%,较 FM-Delta 减少 11.5%。 随着更新量缩小且参考条件增强,压缩效率提升,但低位近均匀比特限制了进一步压缩空间。
来源:arXiv · ML · arxiv.org