arXiv · NLP· Jacob Mitchell Springer, Madhu Advani, Lukas Aichberger, Arwen Bradley, Eran Malach, Omid Saremi, Sinead Williamson, Preetum Nakkiran, Etai Littwin, Aditi Raghunathan·· 5 小时前AI 评分36
注释锚定训练：缓解大语言模型后训练语义模式崩溃
Annotations Mitigate Post-Training Mode Collapse
AI 导读
研究者提出注释锚定训练方法，利用预训练文档配对的语义注释分布，在模型后训练阶段保留高熵语义多样性，解决监督微调（SFT）导致的语义模式崩溃问题。 实验结果表明，该方法比标准 SFT 的多样性崩溃程度低 6 倍，且随着模型规模扩大，保持优势的效果显著增强。 该论文被 ICML 2026 接收。
来源：arXiv · NLP · arxiv.org