arXiv · ML· Lawrence Feng, Jacob Mitchell Springer, Gaurav R. Ghosal, Ziqian Zhong, Aditi Raghunathan·· 10 天前AI 评分34
正则化放大潜意识学习效应
Regularization Amplifies Subliminal Learning
AI 导读
研究揭示正则化不仅未限制,反而放大了通过无语义关联数据进行的隐性偏见转移。 在完全微调下通常不存在的潜意识学习,经低秩适应或显式正则化处罚后,会出现强烈转移;增加数据等隐式正则化也会增强这种影响。 这些发现表明正则化诱导的简单性偏见可能促进隐性影响,且最大转移水平取决于任务复杂度。
来源:arXiv · ML · arxiv.org