跳到正文
arXiv · NLP· Sarah Pan, Ali Behrouz·· 2026-10-15AI 评分39

Titan-Llama:通过外部神经记忆模块改造预训练LLM

Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules

AI 导读

提出Titan-Llama后训练方法,改造预训练注意力模型以支持长上下文高效推理。 该方法采用分层记忆架构,在测试时更新参数,将历史上下文压缩为固定大小的神经记忆模块(NMM)。 在Llama-3.2-1B-Instruct上,显著提升了QuALITY和LongHealth基准测试的准确率,并降低了内存使用。

来源:arXiv · NLP · arxiv.org