arXiv · ML· Boyuan Zheng, Jing Xiong, Chenwei Wu, Hui Shen, Zesen Zhao, Hei Ting Una Chan, Xueshen Liu, Zhen Zhang, Liyue Shen, Zechun Liu, Z. Morley Mao·· 16 小时前AI 评分29
OnQ：通过自生成轨迹恢复量化大语言模型的推理能力
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
AI 导读
低比特量化大语言模型在长程推理任务上表现受限，常因固定响应监督导致轨迹发散与分布错位。本文提出 OnQ 管道，结合在策略蒸馏与动态 KL 散度，在 Qwen3 1.7B/4B/8B 的 2-3 bit 量化中取得最佳性能。
来源：arXiv · ML · arxiv.org