跳到正文
arXiv · NLP· Lukas Twist, Twm Stone, Helen Yannakoudakis, Jie M. Zhang·· 3 天前AI 评分27

LangChoiceBench:衡量并解释大语言模型编程语言选择

LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs

AI 导读

研究引入 LangChoiceBench,评估 25 款 LLM 在 7 个领域的 28 个项目中,发现 Python 被过度选择且推荐实现一致性低。 分析 9,826 条推理轨迹显示,Python 选择多由自动化驱动,存在“幽灵证据”捏造支持。 较小开源权重模型通常表现出更强的 Python 偏好及更低的语言多样性。

来源:arXiv · NLP · arxiv.org