arXiv · NLP· Huzaifa Pardawala, Siddhant Sukhani, Sudheer Chava, Agam Shah·· 10 天前AI 评分21
CoRA-Bench:评估 Token 预算下上下文选择器的证据保留能力
CoRA-Bench: Evaluating Evidence Preservation by Context Selectors Under Token Budgets
AI 导读
引入 CoRA-Bench 基准,用于评估共享 Token 预算下上下文选择器的证据保留能力。 对比头尾截断、BM25、密集检索等方法在 BABILong 等四个数据集上的表现,揭示任务依赖的权衡:BM25 在 BABILong 128K 下支持事实召回率达 0.921,密集检索在 LongMemEval 64K 下答案保留轮次召回率达 0.993。
来源:arXiv · NLP · arxiv.org