循环语言模型量化比想象中更简单：提出 LoReS 框架

针对循环语言模型，研究提出 LoReS 量化流水线，支持 Qwen-3.5 9B 等模型在 vLLM 中实现 8-bit 状态量化并提升解码速度。 该方案包含值轴比例分组、基于衰减的混合精度及随机舍入技术，通过保护慢衰减通道限制误差累积，相比 softmax 注意力模型更容易量化。