跳到正文
arXiv · NLP· Mark Marosi, Peter Antal·· 13 小时前AI 评分40

通用进展可替代特定训练数据,揭示语言模型能力获取规律

General progress substitutes for specific training data in language models

AI 导读

研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。

来源:arXiv · NLP · arxiv.org