跳到正文
arXiv · NLP· Hanzuo Liu, Chunyu Liu, Chaofan Lin, Alex Lamb, Mingyu Gao·· 2026-10-08AI 评分35

EncBank 跨 LLM 查询的紧凑可复用记忆

Cache the Encoder Within:Compact, Reusable Memory across LLM Queries

AI 导读

EncBank 将预训练 LLM 下层作为可复用文档编码器,紧凑存储输出供上层读取器使用。在 Qwen3-8B 任务中,4-bit 存储保留 28.1% 原生精度 GPU 持久存储,预填充速度提升 1.40 倍。 技术细节上,自蒸馏后缀适配器共享存储精度,无需量化重训练。该配置通过 89 个 Terminal-Bench 2.1 任务中的 70 个。

来源:arXiv · NLP · arxiv.org