arXiv · ML· Pierre-Olivier Bonin·· 1 天前AI 评分31
误差扩散替代隐变量权重：在极少比特抖动状态下训练二值化语言模型
Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State
AI 导读
研究者提出误差扩散（ED）优化器，将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重，在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配，摆脱了对高精度隐变量副本的依赖。
来源：arXiv · ML · arxiv.org