研究揭示策略内蒸馏致证据绕过，EP-OPD方法提效

2026年11月3日，Ruoran Xu等人在arXiv发表研究，揭示了策略内蒸馏（OPD）在提升模型准确率的同时削弱证据响应的现象。以Qwen3-4B模型在QASPER数据集上的测试为例，标准OPD使原文答案准确率提升3.4个百分点，但反事实准确率降低5.3个百分点，证据旁路率增加15.7个百分点，PeerQA数据集也呈现相同趋势。 研究发现，在教师模型中显式提供标注的答案关键片段，能同时改善证据响应与论据支持。基于此，团队提出EP-OPD方法，该方法在两个数据集和两种学生模型规模下，恢复了标准OPD54%-66%的反事实准确率损失，同时保留了80%-85%的原文准确率增益，证明证据响应应作为独立训练目标。相关代码已开源。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。