arXiv · NLP· Chengying Tu, Hengyu Zhao, Shuaikang Xue, Zhongming Qu, Jihao Zhou, Xinle Lin, Junshao Guo, Zixuan Fu, Qiang Ma, Jie Zhou, Chaojun Xiao, Hongfei Yan, Yudong Wang, Xu Han, Zhiyuan Liu, Maosong Sun·· 6 小时前AI 评分31
UltraData-Code：从原始仓库到算法密集且面向任务的代码数据
UltraData-Code: From Raw Repositories to Algorithmically Dense and Task-Oriented Code Data
AI 导读
研究提出 UltraData-Code 四层数据状态，将原始仓库转化为面向任务的代码数据。 L2 层产出约 400B tokens 覆盖 11 种语言，L3 层产出约 150B tokens 用于微调。 10B 模型测试显示，L3 替换 L2 半数数据后，EvalPlus pass@1 提升 8.42pp。
来源：arXiv · NLP · arxiv.org