arXiv · AI· Mohammed Nayeem Khan, Logesh L, Aliyas Ahmad Misri·· 9 天前AI 评分21
小模型 Qwen3-0.6B 在不确定解码步骤按需求升级权重位宽的验证研究
Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model
AI 导读
Qwen3-0.6B 模型通过监控熵值或 margin 触发权重精度从 4-bit 升级至 8-bit 的自适应解码,在 GSM8K 测试中 15% 升级预算下捕获 94% 的 top-2 翻转。
来源:arXiv · AI · arxiv.org