研究者提出基于提示词结构评估代码生成可靠性的指标

研究人员 Michael Hernandez 与 Tian Zhao 发表论文《复杂度的“拐点”：用于衡量代码生成可靠性的提示词侧结构复杂度指标》。该研究被 NeurIPS 2026（评估与数据集赛道）接收，全文共24页，包含6幅图表。 研究提出一种仅基于提示词结构而非生成代码来评估复杂度的指标。具体而言，该方法对每个提示词在六个维度上进行结构评分，明确声明评分过程从不依赖生成的代码或测试用例结果。 研究发现了模型通过率在综合复杂度14.0处存在非单调断点。数据显示，当综合复杂度在14.0及以下时，模型通过率为83.4%；当复杂度超过14.0时，通过率提升至90.1%。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。