arXiv · ML· Marcel Aach, Jiangtao Wang, Stefan Kesselheim, Andreas Lintermann·· 13 小时前AI 评分21
OpenGNS:跨视觉、语言与扩散模型的梯度噪声尺度开放数据集
OpenGNS: An Open Dataset of the Gradient Noise Scale across Vision, Language, and Diffusion Models
AI 导读
研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。
来源:arXiv · ML · arxiv.org