跳到正文
arXiv · ML· Ohad Rubin·· 2026-10-09AI 评分30

受控预训练混合数据向代码能力转移的条件性研究

Conditional Transfer from Controlled Pretraining Mixtures to Code

AI 导读

受控预训练研究发现,合成数据对下游代码能力的转移存在条件性价值。 实验显示,75% OpenCodeInstruct 混合比例下 HumanEval pass@20 达 22.6,而自适应调度器因优化短期损失导致性能落后 2.4–11.0 个百分点。 优化近期任务损失会将混合比例移离具备转移效应的区域。

来源:arXiv · ML · arxiv.org