跳到正文
arXiv · NLP· Yong Zhang, Heng Li, Yanwen Huang, Ning Cheng, Yang Guo, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao·· 10 天前AI 评分30

Sentinel 通过注意力探测解码上下文利用以实现高效 LLM 上下文压缩

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression

AI 导读

Sentinel 利用冻结的 0.5B backbone 和 Qwen2.5-7B-Instruct 等三个 reader,在 2,000-token 预算下优于全上下文。 该压缩器在 12 个 LongBench 任务中表现更优,支持中文迁移,且比 LLMLingua-2 和 CPC 具有更低的压缩延迟和 GPU 内存占用。

来源:arXiv · NLP · arxiv.org