S3R结构化子空间随机舍入方法提升INT8训练效率
热点事件持续更新
S3R结构化子空间随机舍入方法提升INT8训练效率
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月28日，arXiv机器学习领域发布新论文，提出结构化子空间随机舍入方法S3R及其误差校正版本S3R-EC。该方法通过量化上游梯度并共享随机阈值，有效消除了量化训练中的偏移误差。 实验显示，S3R-EC在INT8训练下的验证损失与独立随机舍入持平。在TPU v5p硬件上，密集大语言模型的全量INT8训练步骤较BF16加速1.24至1.32倍，较独立随机舍入加速1.11倍，验证了该结构化的随机舍入策略在低精度训练中的高效性。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
S3R：通过结构化子空间随机实现高效量化训练报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · MLS3R：通过结构化子空间随机实现高效量化训练
提出 S3R 与 S3R-EC，通过子空间共享随机阈值消除偏移误差，使 INT8 训练验证损失与独立 SR 持平。 在 TPU v5p 上，S3R-EC 使密集 LLM 全量 INT8 训练步骤较 BF16 加速 1.24-1.32 倍，较独立 SR 加速 1.11 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。