arXiv · NLP· Howard Yen, Nitya Mani, Alex Renda, Christopher S. Hardin·· 4 小时前AI 评分44
LEAPS 提出长上下文自适应模式学习与状态跟踪评测框架
LEAPS: Long-context Evaluation of Adaptive Pattern Learning and State Tracking
AI 导读
研究团队推出 LEAPS 基准，包含 12 个数据集以评测长上下文语言模型在状态跟踪与模式学习上的能力。该基准支持数百万输入 token，通过 30 个模型测试发现，擅长简单召回的模型在高复杂度任务上表现显著下滑，且思考型模型常因预算耗尽而表现不佳。 这有助于指导下一代长上下文模型（LCLM）的开发。
来源：arXiv · NLP · arxiv.org