arXiv · ML· Michael Hernandez, Tian Zhao·· 9 小时前AI 评分42
The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability 复杂度的“拐点”:用于衡量代码生成可靠性的提示词侧结构复杂度指标
The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability
AI 导读
研究人员提出一种仅基于提示词结构而非生成代码来评估复杂度的指标,发现模型通过率在综合复杂度14.0处出现非单调断点:14.0及以下通过率83.4%,以上则达90.1%。
来源:arXiv · ML · arxiv.org