异质数据引发新的多重下降现象

在随机特征线性模型中，不同协方差结构的数据集混合会导致多重下降现象。模型规模增加时，协方差的尺度与谱结构异质性会引入额外的、依赖数据分组的插值阈值。该现象在无标签噪声和线性激活下也能出现。这为算法公平性提供了新视角，表明模型扩展可能对不同数据分组的泛化误差产生不均衡影响。