arXiv · ML· Konstantinos Christopher Tsiolis, Denny Wu, Christos Thrampoulidis, Murat A. Erdogdu·· 10 天前AI 评分30
多类逻辑回归中 SGD 的序列学习规律与缩放法则
SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws
AI 导读
研究建立多类逻辑回归在高维混合模型下的交叉熵风险缩放法则,揭示学习过程按类别频率从高到低顺序进行的机制。 当类别先验服从幂律分布时,风险动态分解为初始平台期、幂律衰减序列学习期和最终收敛期三个明确阶段。 研究进一步推导了计算最优缩放法则,明确了模型尺寸与训练时间随计算预算变化的具体关系,将线性回归理论延伸至多分类任务。
来源:arXiv · ML · arxiv.org