跳到正文
arXiv · NLP· Peter Devine, Nick Ryan, Benjamin Sirb, Alex Chiocchi·· 2026-10-09AI 评分35

Internalizer:面向超大语言模型的便携上下文至参数映射

Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models

AI 导读

Internalizer 生成适配 DeepSeek v4 Flash 的 LoRA 适配器,实现 284B 参数模型的上下文权重化。 在 4096 tokens 文档上,生成适配器 top-1 准确率达 84.9%,top-5 达 97.8%,显著优于基础模型。 训练后单次前向传播即可生成适配器,支持独立部署或窗口增强以提升推理速度。

来源:arXiv · NLP · arxiv.org