跳到正文
arXiv · ML· Marcel Aach, Jiangtao Wang, Stefan Kesselheim, Andreas Lintermann·· 13 小时前AI 评分21

OpenGNS:跨视觉、语言与扩散模型的梯度噪声尺度开放数据集

OpenGNS: An Open Dataset of the Gradient Noise Scale across Vision, Language, and Diffusion Models

AI 导读

研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。

来源:arXiv · ML · arxiv.org