跳到正文
arXiv · NLP· Feng He, Hejia Wang, Linghao Meng, Ming Gao, Qiankun Li·· 2026-10-06AI 评分33

代码生成中的验证陷阱:虚假前提下的测试时选择失效机制

Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation

AI 导读

研究揭示代码生成测试时选择存在“验证陷阱”,当生成器与验证器共享虚假前提时,选择器可能选中错误候选。 在3个基准和5个代码模型上,虚假前提降低首样本正确率,即使64次测试时选择也无法避免误选。 验证器测试继承了前提盲区,导致选择空间偏离正确解;轻量级无黄金标签预测器可达0.846 AUROC。

来源:arXiv · NLP · arxiv.org