跳到正文
arXiv · AI· Taehoon Kim, Seunggeun Cho, Dongsu Han·· 2026-10-08AI 评分45

CRD框架通过协作推理蒸馏提升紧凑型模型能力

Collaborative Reasoning Distillation via Cross-Feedback and Coherent Curation

AI 导读

提出协作推理蒸馏(CRD)框架,通过教师间交互互评、细粒度步骤质量评估及连贯性感知拼接,增强小模型推理能力。 CRD-4B模型在MATH-500获97.3%、AIME'25获70.3%,仅用5万训练样本,数据集规模比同类模型小12倍。 该研究已被NeurIPS 2026接收,解决了标准蒸馏依赖结果奖励无法区分有效推理与侥幸猜测的问题。

来源:arXiv · AI · arxiv.org