arXiv · ML· Xiuqi Liu, Oveys Delafrooz Noroozi, Upamanyu Madhow·· 9 小时前AI 评分37
MASS：基于多掩码选择性自蒸馏的泄漏鲁棒推理方法
MASS: Multi-mask Selective Self-Distillation for Leakage-Resilient Reasoning
AI 导读
研究提出多掩码选择性自蒸馏（MASS）方法，以解决单一参考自蒸馏导致预测集中在单一推理轨迹的问题。 MASS 通过对单一已验证解进行独立掩码视图来近似边缘分布，聚合互补教师预测，并自适应地将掩码集中在有影响力的参考片段上。 在数学推理基准测试中，MASS 持续优于强大的自蒸馏基线模型。
来源：arXiv · ML · arxiv.org