跳到正文
arXiv · ML· Bo Li, Taoyong Cui, Bob Zhang, Mengran Li, Chengyang Zhang, Yang Zhang, Pheng Ann Heng, Wanli Ouyang, Zhenfei Yin, Yingcheng Wu, Ling Yang·· 17 小时前AI 评分36

WeightCode: 通过权重空间编程向神经网络安装新能力

WeightCode: Installing New Capabilities into Neural Networks via Weight-Space Programming

AI 导读

WeightCode 框架利用冻结语言模型编写可执行权重程序,无需梯度训练即可向神经网络安装新能力。 给定语法或 8 个演示,权重程序使未见命令组合的精确匹配率从 0% 提升至 99.8%,新增拾取动作成功率从 0% 提升至 98.4%。 在 ImageNet 上,4 个权重程序带来 8.84-17.62 分的净增益,且优于 8 种微调方法。

来源:arXiv · ML · arxiv.org