研究揭示蒸馏小模型拒答偏差三大机制

2026年10月27日，Plawan Kumar Rath在arXiv发布论文，指出小型指令调整语言模型通过知识蒸馏应用于手机端及离线助理等场景时，存在由拒答丢失、采样波动及选项捕获三种机制引发的行为偏差。 研究发现，重采样导致10%至27%的原本拒答内容转化为刻板印象答案，仅针对已提交答案进行条件约束可防止误判公平性。同时，学生模型在科学问题上捕获拒答选项的比例高达95%，自由形式评估证实多选遗漏并非刻板化的主要来源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。