跳到正文
arXiv · AI· Simin Fan, Alireza Abdollahpoorrostam, Martin Jaggi·· 2026-10-05AI 评分28

OptiSelect: 优化器如何塑造数据课程?

OptiSelect: How does the Optimizer Shape Data Curriculum?

AI 导读

论文提出 OptiSelect 范式,首次系统研究优化器对 LLM 预训练数据选择的影响。理论证明 Lion 和 Muon 优化器会导致可辨识性坍缩,而 AdamW 和 Sophia 等对角自适应优化器能获得更优收益。124M 和 720M 模型实验验证了 AdamW 评分几何的最强优势,并确认该方法在数据重述下仍有效。

来源:arXiv · AI · arxiv.org