arXiv · NLP· Sikui Zhang, Haowei Liu, Ziyun Gan, Chunfeng Yuan, Guangze Gao, Nian Liu, Boyu Cai, Bo Li, Xiaolei Lv, Jun Gao, Bing Li, Weiming Hu·· 7 天前AI 评分26
CoMem:基于对比记忆学习的选择性上下文压缩框架
Beyond Compressing Everything: Contrastive Memory Learning for Selective Context Compression
AI 导读
提出查询引导的选择性上下文压缩框架 CoMem,在问答和 RULER-NIAH 基准上优于现有方法。 采用对比压缩器学习生成查询敏感且保留上下文的记忆表示,并通过同上下文硬负样本挖掘及双向注意力机制优化信息流。 该框架旨在解决有限记忆预算下长输入推理的效率挑战,代码已开源。
来源:arXiv · NLP · arxiv.org