评估LLM代码生成中的有害记忆现象

研究人员提出代码重写管道与有害记忆指数（HMI），用于量化LLM在语义微变下的代码生成脆弱性。 实验基于MBPP+和BigCodeBench基准发现，HMI不随模型规模单调增加，且集中在约束变更等逻辑编辑中。监督微调可能推高HMI，而PPO后训练在准确率与HMI权衡中表现更优。