arXiv · NLP· Jian Yang, Wei Zhang, Shukai Liu, Linzheng Chai, Yingshui Tan, Jiaheng Liu, Ge Zhang, Wangchunshu Zhou, Guanglin Niu, Zhoujun Li, Binyuan Hui, Junyang Lin·· 2026-10-14AI 评分28
IFEvalCode:面向受控代码生成的多语言基准
IFEvalCode: Controlled Code Generation
AI 导读
IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。
来源:arXiv · NLP · arxiv.org