arXiv · AI· June Hunter, Lily Wen, Owen Terry, Johannes Taraz, Ben Cohen, Niels Warncke·· 13 天前AI 评分42
语言模型倾向性分布外泛化预测研究
Predicting how model propensities generalize out of distribution
AI 导读
研究通过系统提示、SFT及GRPO等技术测试语言模型的倾向性分布外泛化,发现良性特质提升常伴随不良特质扩散。 基于探索性因子分析识别出三个特质簇解释了约50%的方差,且观察到不依赖目标特质的“漂移”现象。 代码和数据已公开,表明泛化行为难以通过单一预测因子准确预判。
来源:arXiv · AI · arxiv.org