arXiv · NLP· Jiangnan Ye, Hanqi Yan, Zhenyi Shen, Heng Chang, Ye Mao, Yulan He·· 10 天前AI 评分21
提出 ComprExIT:基于显式信息传输的上下文压缩框架
Fix the Structural Bottleneck: Context Compression via Explicit Information Transmission
AI 导读
针对长上下文 LLM 智能体成本高问题,提出 ComprExIT 框架。该框架通过跨层特征自适应选择和全局协调传输计划解决压缩瓶颈。 实验在 12 个数据集上显示,ComprExIT 相比强软压缩基线平均 F1 提升达 18.5%。新增可训练参数仅约 1%,压缩速度最快达到基线的 2 倍以上。 代码将在论文录用后开源。
来源:arXiv · NLP · arxiv.org