跳到正文
arXiv · NLP· Yichen Wang, Tenghao Huang, Vishakh Padmakumar, Mina Lee·· 2026-10-12AI 评分28

通过长尾性能评估大语言模型的创造力

Evaluating LLM Creativity through Long-Tail Performance

AI 导读

论文提出将创造力形式化为参考输入输出分布长尾区间的任务特定性能。在 15 个基准和 26 个开源权重模型上验证该观点。 引入 q@Tail($\alpha$) 诊断工具,通过测量现有基准的尾部比例平均任务质量来评估创造力。结果表明该方法能有效识别模型在尾部区域的表现差异。

来源:arXiv · NLP · arxiv.org