arXiv · AI· Jiaxing Wang, Zicheng Zhang, Deping Xiang, Jin Xu, Yong Li, Chao Liu, Pengzhang Liu, Qixia Jiang·· 5 小时前AI 评分27
数据策展改善 LLM 训练：是推进性能上限还是加速收敛？
Advancement or Acceleration? How Data Curation Improves LLM Training
AI 导读
研究提出“推进”与“加速”二元框架，指出数据策展能否提升 LLM 性能上限取决于基线与目标是否存在可修正的训练-目标差距。 定义 $\Delta$-test 以量化该差距：显著非零 $\Delta$ 预示持续性能增益，接近零则增益随算力增加消失。 该视角将数据策展重心从方法转向任务本身，为构建目标集提供新方向。
来源：arXiv · AI · arxiv.org