arXiv · ML· Bedionita Soro, Bruno Andreis, Song Chong, Sung Ju Hwang·· 17 小时前AI 评分26
IGPG:基于自回归神经网络的参数生成方法
Towards Autoregressive Neural Network Parameter Generation
AI 导读
研究人员提出指令引导参数生成(IGPG)框架,将神经网络参数生成转化为自回归建模问题。该方法先利用VQ-VAE量化预训练权重,再训练前缀条件生成器。评估表明,IGPG在分布内生成中表现竞争,并为留出数据集提供优于随机初始化的参数起点。这显示离散自回归建模有助于跨预训练参数集合学习结构。
来源:arXiv · ML · arxiv.org