arXiv · NLP· Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelberg, Haggai Maron, Muhan Zhang·· 6 小时前AI 评分32
SHINE: 单步映射上下文至 LoRA 的可扩展超网络
SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
AI 导读
提出可扩展超网络 SHINE，在单次前向传播中将多样上下文映射为高质量 LoRA 适配器。 SHINE 复用冻结 LLM 参数，结合预训练与指令微调，无需微调即可更新参数。 该方法将上下文知识转化为参数知识，显著节省时间、计算和内存成本。
来源：arXiv · NLP · arxiv.org