arXiv · AI· Duy Nguyen, Hanqi Xiao, Archiki Prasad, Zaid Khan, Anirban Das, Shi-Xiong Zhang, Sambit Sahu, Hyunji Lee, Elias Stengel-Eskin, Mohit Bansal·· 17 小时前AI 评分37
AVSD:通过平衡共识与教师特定特权信号的自适应视图自蒸馏
AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals
AI 导读
AVSD提出自适应视图自蒸馏方法,通过分离跨视图共识与视图特定残差信号来重建token级监督。在AIME24、AIME25和HMMT25等数学竞赛基准测试中,AVSD在Qwen3-8B和Qwen3-4B上相比最强基线分别平均提升3.1%和2.2%,在Codeforces和LiveCodeBench v6代码生成基准上提升2.4%。该研究已被NeurIPS 2026接收。
来源:arXiv · AI · arxiv.org