arXiv · NLP· Peter Devine, Nick Ryan, Benjamin Sirb, Alex Chiocchi·· 2026-10-09AI 评分35
Internalizer:面向超大语言模型的便携上下文至参数映射
Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models
AI 导读
Internalizer 生成适配 DeepSeek v4 Flash 的 LoRA 适配器,实现 284B 参数模型的上下文权重化。 在 4096 tokens 文档上,生成适配器 top-1 准确率达 84.9%,top-5 达 97.8%,显著优于基础模型。 训练后单次前向传播即可生成适配器,支持独立部署或窗口增强以提升推理速度。
来源:arXiv · NLP · arxiv.org