正交性约束是否优于球面优化助益LLM预训练

研究表明，在360M至3.1B参数规模下，LLM预训练中的行正交性约束未能在球面优化基础上带来额外收益。 系统测试14种正交变体发现，对称正定因子仅在小模型有效，且下游准确率未区分不同参数化方法。 作者重新检验5项先前的正交性改进研究，发现其增益归因于数值精度或优化器实现，而非正交性本身。