arXiv · ML· Zeyu Wang, Yiheng Duan, Tao Chen, Donghyun Koo, Sihan Liu, Wenbo Zhang, Chuan He, Liang Liu·· 5 小时前AI 评分31
S3R：通过结构化子空间随机实现高效量化训练
Efficient Quantization Training with Stochastic Rounding via Structured Subspace Randomness
AI 导读
提出 S3R 与 S3R-EC，通过子空间共享随机阈值消除偏移误差，使 INT8 训练验证损失与独立 SR 持平。 在 TPU v5p 上，S3R-EC 使密集 LLM 全量 INT8 训练步骤较 BF16 加速 1.24-1.32 倍，较独立 SR 加速 1.11 倍。
来源：arXiv · ML · arxiv.org