跳到正文
arXiv · ML· Hiroki Naganuma, Laura Gomezjurado, Mahdi Ghaznavi, Ganesh Talluri, Atsushi Nitanda, Seng Pei Liew, Ryuichiro Hataya, Ioannis Mitliagkas·· 2026-10-14AI 评分30

G-Scion 提出可测量的层级式符号-谱优化器分配方案

Which Geometry on Which Layer? Measured Sign-Spectral Assignment in Mixed-Optimizer Training

AI 导读

G-Scion 框架将优化器几何分配转化为可测量的层级决策问题,在 31M GPT-2 和 ViT-B/16 实验中验证了动态路由优于固定策略。 该方案通过有限批次比值和下界确定条件期望下降,引入局部方向二次得分控制层级路由。在受控实验中,方向曲率匹配在所有七种聚合设置中准确预测了几何选择。 这些结果表明优化器几何无需按层类型硬编码,为理解分配机制提供了基础。

来源:arXiv · ML · arxiv.org