arXiv · NLP· Ziqing Man, Di Wu, Jia-Chen Gu, Junyi Zhang, Kai-Wei Chang, Nanyun Peng·· 6 小时前AI 评分31
KEEP-Bench: 评估上下文压缩中的证据保留
KEEP-Bench: Evaluating Evidence Preservation in Context Compression
AI 导读
提出基准测试 KEEP-Bench，包含 4,102 个案例，用于直接评估上下文压缩的证据保留保真度。 该基准发现最佳开源模型（31B）在 100K+ token 上下文窗口下仅保留 66.8% 必需证据，最佳闭源模型仅保留 61.6%。 研究强调未来工作应侧重在小计算预算下构建具有强信息保留能力的压缩器，而非依赖扩大输出预算。
来源：arXiv · NLP · arxiv.org