跳到正文
arXiv · AI· Dayoon Ko, Jihyuk Kim, Soyeong Jeong, Young-jun Lee, Dahyun Lee, Juyeon Kim, Gunhee Kim, Moontae Lee, Kyungjae Lee·· 29 天前AI 评分35

CompLit:科学文献搜索基准需覆盖隐式、累积及未满足需求

CompLit: Scientific Literature Search Benchmarks Must Cover Implicit, Cumulative, and Unmet Needs

AI 导读

研究提出覆盖arXiv八大领域的CompLit基准,测试智能体寻找隐式、累积及未满足文献需求的能力。Codex(GPT-5.6-Sol)和Claude Code(Opus 4.8)在标准查询中准确率分别为86%和87%,但在隐式需求下降至66%和68%。 未满足需求的查询中两者放弃率最高达53%,且所有智能体在2019年前或2023年后的论文上表现更差,揭示其常能定位正确论文但误判其适用性。

来源:arXiv · AI · arxiv.org