arXiv · NLP· Sarah Pan, Ali Behrouz·· 2026-10-15AI 评分39
Titan-Llama:通过外部神经记忆模块改造预训练LLM
Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules
AI 导读
提出Titan-Llama后训练方法,改造预训练注意力模型以支持长上下文高效推理。 该方法采用分层记忆架构,在测试时更新参数,将历史上下文压缩为固定大小的神经记忆模块(NMM)。 在Llama-3.2-1B-Instruct上,显著提升了QuALITY和LongHealth基准测试的准确率,并降低了内存使用。
来源:arXiv · NLP · arxiv.org