提出跨优化器收敛的最优数据缩放指数 1/3 理论
热点事件持续更新
提出跨优化器收敛的最优数据缩放指数 1/3 理论
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
研究人员 Hyunseok Lee 等提出并证明,在不同优化器下最优数据缩放指数收敛至 1/3 的理论及动态关系式。 在在线教师-学生模型中,损失分解为径向范数增长和切向对齐,二者以幂律衰减。虽然 SGD 和 Adam 的动态指数不同,但最优损失在 7 种优化器下均收敛至 D^(-1/3),且满足 2α_r + α_t = 1 的关系。
AI 根据报道生成 · 7 小时前更新
最新进展11月20日 13:00
优化器相关的训练动力学收敛至同一三分之一的最优数据扩展报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv · ML优化器相关的训练动力学收敛至同一三分之一的最优数据扩展
在在线教师-学生模型中,损失分解为径向范数增长和切向对齐,二者以幂律衰减。 虽然SGD和Adam的动态指数不同(Adam下α_r≈0.48, α_t≈0.08),但最优损失在7种优化器下均收敛至D^(-1/3),且满足2α_r + α_t = 1的关系。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 811月20日 23:00
- 近 24 小时变化
- –
02468
23:0011月21日01:0002:0003:0004:0005:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。