跳到正文
arXiv · ML· Xu Cao, Wenxuan Xiao·· 9 小时前AI 评分23

跨模型表征复用校准增益

Reusing Calibration Gains across Model Representations

AI 导读

研究提出将规模校准(Scale calibration)的增益从一个模型表征迁移至同一预训练模型的另一个表征。 针对 Qwen3-1.7B 的浮点/GPTQ INT3 配对,双向迁移保留了 76.9% 至 90.5% 的文本损失改善;Llama-3.2-3B 对照实验中,交叉安装保留了 98.6% 至 99.3% 的校准收益。

来源:arXiv · ML · arxiv.org