arXiv · AI· Yunbo Long, WenJie Chen, Jiaquan Zhang, Guangya Hao, Zihang Zeng, Pengze Li, Xi Chen·· 2026-10-07AI 评分30
SPECTRUM:循环自蒸馏中的近端谱调制
SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation
AI 导读
SPECTRUM 针对代码生成的循环自蒸馏提出近端谱调制,通过从固定参考锚点重估损失敏感的键值几何来解决正确性提升但解空间广度收缩的问题。 在 MBPP 上经过 5 轮实验,SPECTRUM 保留了初始模型 89.9% 的正确 AST 丰富度,高于 vanilla 自蒸馏的 66.4% 和子空间投影基线的 65.5%。
来源:arXiv · AI · arxiv.org