跳到正文
热点事件持续更新

OpenGNS梯度噪声尺度开放数据集发布

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

研究人员在arXiv机器学习板块发布OpenGNS数据集,这是针对梯度噪声尺度(GNS)测量的开放数据集合。该数据集包含400多条测量轨迹,覆盖了从1100万到10亿参数规模的不同模型,涉及ResNet、GPT和DiT三种架构。 研究在muP规范下进行密集批大小与学习率扫描,揭示了GNS在不同模型规模下具有稳定性。研究发现GNS在分类任务中倾向于高估临界批大小(CBS),而在生成任务中则倾向于低估CBS。

AI 根据报道生成 · 12 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · ML
    OpenGNS:跨视觉、语言与扩散模型的梯度噪声尺度开放数据集

    研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。

本事件热度走势

可比范围当前
7
可比范围峰值
1011月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。