arXiv · NLP· Jialin Yang, Jiankun Wang, Jiajun Wu, Henry Leung, Jiayu Zhou, Steve Drew·· 8 小时前AI 评分27
D-RPC：通过推理空间压缩实现结构化理由蒸馏
Structural Rationale Distillation via Reasoning Space Compression
AI 导读
研究提出 D-RPC 方法，通过约束教师模型遵循动态维护的高层推理路径库，解决蒸馏中教师理由结构不一致导致的噪声监督问题，在五个基准测试中取得最高平均准确率。 方法引入 PAC-Bayes 分析以量化推理路径库大小与覆盖率之间的权衡，消融实验显示中间大小的库效果最佳。
来源：arXiv · NLP · arxiv.org