arXiv · AI· Hazem Hesham Yousef Shalby, Fabrizio Pittorino, Manuel Roveri·· 2026-10-14AI 评分34
深度神经网络纯整数训练的新算法
Memory-Efficient Integer-Only Training of Deep Neural Networks
AI 导读
提出一种将所有张量(权重、梯度、激活)存储为INT8且所有操作均使用整数算术的训练算法。 该算法使用5个可组合的构建模块和每组速度机制,使训练内存比FP32基线小约4倍。 在ResNet、MobileNetV2和ViT等模型上验证,首次在CIFAR-10/100和ImageNet上以INT8实现具有竞争力的准确率。
来源:arXiv · AI · arxiv.org