ED优化器将二值语言模型训练状态压缩至3-9比特

研究者Pierre-Olivier Bonin提出误差扩散（ED）优化器，该成果已被NeurIPS 2026巴黎会议的SLM-Agents工作坊接受。 该方法利用2-8位残差缓冲区替代隐变量权重，通过随机舍入进行量化，将二值语言模型的每权重训练状态从97比特大幅压缩至3-9比特，压缩效率最高达19倍。 在字符级Transformer模型上验证显示，ED优化器在极少比特抖动状态下收敛性能达到参考基准的95%-98.3%，且仅需275MB内存预算即可实现端侧设备适配，摆脱了对高精度隐变量副本的依赖。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。