跳到正文
arXiv · AI· Guoqiang Zhang, Kexin Tan, Ming Zhang, Li Ju, Wenqing Jing, Zhonghan Yue, Jiayi Chen, Shiqiang Wu, Shaofan Liu, Yue Zhang, Yuankai Ying, Yang Shi, Tao Gui, Qi Zhang, Xuanjing Huang·· 21 天前AI 评分25

NovGauge:用于诊断大语言模型论文新颖性评估能力的细粒度基准

NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment

AI 导读

NovGauge 提出了一个包含 619 个论文对的人类锚定基准,用于诊断 LLM 在论文新颖性评估中的细粒度表现,涵盖任务、问题和方法三个维度。 评估显示 18 种 LLM 的幻觉率介于 0% 至 39% 之间,且超过 70% 的正确阳性判断证据无法逻辑支撑其理由;表现最佳的 GPT-5.5 各维度 Verified F1 为 43-72%。

来源:arXiv · AI · arxiv.org