跳到正文
IT之家·· 21 天前AI 评分57

谷歌研究提出AI“睡眠框架”实现持续学习

告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识

AI 导读

谷歌发布名为“睡眠框架”(Sleep Framework)的持续学习研究成果,试图解决大语言模型发布后知识固化、难以吸收新信息的难题。该框架将模型运行划分为“清醒”与“睡眠”阶段,在睡眠中通过参数扩展、混合专家记忆块和知识蒸馏巩固短期信息,并生成合成样本进行强化学习。实验显示,该框架在处理最长约1000万token的上下文和持续数学推理等任务中优于多种基线方法,且性能下降接近零。

来源:IT之家 · ithome.com