arXiv · ML· Zihao Chen, Zhili Xiao, Rui-Jie Zhu, Yipeng Wang, Jason Eshraghian, Shantanu Chakrabartty·· 8 小时前AI 评分38
$\Sigma\Delta$-Sampler：二值与三值AI模型边缘端可扩展训练的噪声整形采样与退火
Noise-shaped Sampling and Annealing for Scalable On-the-edge Training of Binary and Ternary AI Models
AI 导读
提出 $\Sigma\Delta$-Sampler 优化器，通过噪声整形与退火提升二值和三值模型边缘端训练效率。 在 CIFAR-10 上 13M 参数模型精度接近全精度 1% 以内；MatMul-free 语言模型最高 2.7B 参数优于直通估计器基线。 较标准量化感知训练，训练内存减少 50% 以上，速度提升一个数量级，适用于端侧大模型微调。
来源：arXiv · ML · arxiv.org