arXiv · AI· Amanda Bertsch, Adithya Pratapa, Teruko Mitamura, Graham Neubig, Matthew R. Gormley·· 2026-10-06AI 评分42
Oolong:评估长上下文推理与聚合能力的新基准
Oolong: Evaluating Long Context Reasoning and Aggregation Capabilities
AI 导读
研究者发布 Oolong 基准,专门评估模型对长上下文逐块分析并聚合回答分布性问题的能力,GPT-5、Claude-Sonnet-4 和 Gemini-2.5-Pro 在 128K 下两个子集准确率均不足 50%。
来源:arXiv · AI · arxiv.org