arXiv · AI· Jiajun Fan, Neil He, Changyi Yang, Andy Mao, Xi Zhu, Chaoran Cheng, Kaiqu Liang, Shuaike Shen, Zetian Li, Ruihan Guo, Ge Liu·· 2 天前精选AI 评分63
arXiv 论文提出语言模型可通过自身推理无梯度重写权重实现自我改进
Language Models Can Rewrite Their Own Weights
AI 导读
arXiv 论文提出语言模型可通过自身推理在无梯度和无训练情况下重写权重以实现自我改进。27B 模型在 490 道未见过的题目上准确率提升 6.6 点,且能在 8 次会话中持续累积收益。该能力还能修复受损模型副本,将六个图像基准测试的准确率从 7% 提升至 70%,并且随模型规模扩大而显现。
推荐理由
研究展示了模型利用自身推理无梯度编辑权重的可能性,其准确率提升效果可迁移至未见过的测试场景。
来源:arXiv · AI · arxiv.org