arXiv · NLP· Noy Sternlicht, Simra Shahid, Peter Jansen, Daniel S. Weld, Pao Siangliulue, Tom Hope·· 13 天前AI 评分21
LLM 新穎性評估不穩定性研究：舊有新問題的系統性分析
Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation
AI 导读
系统研究发现 LLM 充当新颖性评判者时极不稳定，微小的提示词设计选择会导致配对准确率波动超 50 点，甚至降至随机猜测水平。 研究挖掘 OpenReview 数据构建评估集，对比 6 个评判者，证实检索和增加推理预算帮助有限，两个专用评估器表现不及最便宜的基线。 这些结果对自动化创意系统报告的新颖性增益提出质疑，呼吁开发更稳健的新颖性评估方法。
来源：arXiv · NLP · arxiv.org