跳到正文
arXiv · NLP· Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji·· 10 天前AI 评分30

语义距离测试能否预测 LLM 创意能力?锯齿状创意的证据

Do Semantic Distance Tests Actually Predict Creativity in LLMs? Evidence for Jagged Creativity

AI 导读

首次大规模研究表明,人类创意的语义距离测试无法有效预测 LLM 在写作、多样性等四个维度的创意表现。 研究发现“点创意”与“分布创意”在 LLM 中解离,形成“锯齿状创意”;Remote Associates Test 仅反映通用能力,Divergent Association Task 对创意写作预测效果最佳。 结果提示需谨慎将人类心理测量学测试直接应用于 LLM 创意评估。

来源:arXiv · NLP · arxiv.org