跳到正文
arXiv · ML· Yuxiang Ji·· 10 天前AI 评分23

Spaghetti Architect:可控代码基准生成器及其自带注释对模型得分的影响

Spaghetti Architect: A Controlled Code Benchmark Generator, and What Its Own Comments Do to Model Scores

AI 导读

summary_zh: Spaghetti Architect 生成器将程序转换为五种语言的混乱代码,通过移除注释使四款测试模型的得分降低,且对最弱模型的影响约为最强模型的十倍。

来源:arXiv · ML · arxiv.org