arXiv · AI· Wenjun Wang, Heng Li, Yanggan Gu, Hongxia Yang·· 2026-10-08AI 评分21
OnlineQAT:面向超低比特大语言模型的政策内蒸馏
OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models
AI 导读
summary_zh: OnlineQAT 提出两阶段框架,在 Qwen3-1.7B 上以 W3A16 取得 57.28 的平均分,领先 ReasoningQAT 2.90 分。
来源:arXiv · AI · arxiv.org