OpenGNS梯度噪声尺度开放数据集发布
热点事件持续更新
OpenGNS梯度噪声尺度开放数据集发布
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
研究人员在arXiv机器学习板块发布OpenGNS数据集,这是针对梯度噪声尺度(GNS)测量的开放数据集合。该数据集包含400多条测量轨迹,覆盖了从1100万到10亿参数规模的不同模型,涉及ResNet、GPT和DiT三种架构。 研究在muP规范下进行密集批大小与学习率扫描,揭示了GNS在不同模型规模下具有稳定性。研究发现GNS在分类任务中倾向于高估临界批大小(CBS),而在生成任务中则倾向于低估CBS。
AI 根据报道生成 · 12 小时前更新
最新进展11月19日 13:00
OpenGNS:跨视觉、语言与扩散模型的梯度噪声尺度开放数据集报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · MLOpenGNS:跨视觉、语言与扩散模型的梯度噪声尺度开放数据集
研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月19日 14:00
- 近 24 小时变化
- –
02.557.510
14:0016:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。