通过元梯度下降探索数据景观

EleutherAI 的研究员 L.J. 在 Iliad Fellowship 期间提出利用元梯度下降探索数据景观。 研究定义了数据到参数映射，通过调整数据权重和训练步数，分析不同数据子集对模型学习及泛化行为的影响。 该方法揭示了如何控制数据以塑造模型最终学到的功能，为理解归纳偏置提供了形式化工具。