跳到正文
arXiv · AI· Amanda Bertsch, Adithya Pratapa, Teruko Mitamura, Graham Neubig, Matthew R. Gormley·· 2026-10-06AI 评分42

Oolong:评估长上下文推理与聚合能力的新基准

Oolong: Evaluating Long Context Reasoning and Aggregation Capabilities

AI 导读

研究者发布 Oolong 基准,专门评估模型对长上下文逐块分析并聚合回答分布性问题的能力,GPT-5、Claude-Sonnet-4 和 Gemini-2.5-Pro 在 128K 下两个子集准确率均不足 50%。

来源:arXiv · AI · arxiv.org