arXiv · NLP· Luo Ji, Qi Qin, Ningyuan Xi, Teng Chen, Qingqing Gu, Hongyan Li·· 10 天前AI 评分32
ICML 2026 论文提出基于超网络的 Meta-Gated LLM 以优化任意文本条件学习
Learn-To-Learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM
AI 导读
该论文激活 SwiGLU 块中的 $\beta$ 信号,结合超网络动态生成参数,构建了 Meta-Gated LLM。 在任务、领域、人设等条件测试中,该方法优于微调基线,并能泛化至未见的任务或指令。 代码已开源,全文共 33 页,发表于 ICML 2026。
来源:arXiv · NLP · arxiv.org