跳到正文
arXiv · ML· Anqi Qu·· 10 天前AI 评分32

原语与路径:基于基础模型已有能力预测后训练效果

Primitives and Paths: Predicting What Post-Training Can Do from What the Base Model Already Has

AI 导读

研究人员提出二维状态空间框架,用于预测后训练对语言模型的能力影响。 框架包含有效全解支持与原语覆盖两个维度,界定了放大、组合受限及获取受限三种状态。 在三个小型语言模型上的合成任务测试表明,仅掌握原语无法保证强化学习学会组合,建立非零支持的中期训练对强化学习收益至关重要。

来源:arXiv · ML · arxiv.org