跳到正文
arXiv · ML· Bum Jun Kim, Makoto Kawano, Yusuke Iwasawa, Yutaka Matsuo·· 2026-10-14AI 评分27

神经网络量纲分析:无量纲与尺度一致计算的原理框架

Neural Dimensional Analysis: Foundations of Dimensionless and Scale-Consistent Computation

AI 导读

论文提出基于量纲一致性的神经网络量纲分析(NDA)框架,用于解释Transformer中的尺度控制机制。 NDA定义了神经单位,并实现了量纲一致的Gauge-Canonical Transformer(GCT)。在51M至1B参数的语言模型实验中,GCT在跨越16倍学习率范围内保持训练稳定,并在124M验证损失上优于Pre-LN和LLaMA-style基线。

来源:arXiv · ML · arxiv.org