arXiv · ML· Haotian Li, Liran Dong, Kaicheng Xiao, Guoliang Xing·· 2026-10-14AI 评分36
低比特循环状态量化中更新保持方法:LRB 与 BDR
Preserving Updates in Low-Bit Recurrent State Quantization
AI 导读
在 Gated DeltaNet、GLA、Mamba2 和 RetNet 模型上,免训练低比特循环状态量化方法显著优于 INT4,相对 FP32 将状态内存减少最多 5.3 倍,解码速度提升最多 1.9 倍。
来源:arXiv · ML · arxiv.org