正交约束在LLM预训练中未超越球面优化
热点事件持续更新
正交约束在LLM预训练中未超越球面优化
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
arXiv最新实证研究显示，在360M至3.1B参数规模的LLM预训练中，行正交性约束未能在球面优化基础上带来额外收益。测试14种正交变体后，对称正定因子仅在小模型有效，且下游准确率无法区分不同参数化方法。 研究团队重新检验了5项先前的正交性改进研究，发现其增益归因于数值精度或优化器实现，而非正交性本身。这一发现质疑了此前认为正交约束能提升语言模型性能的结论。
AI 根据报道生成 · 3 小时前更新
最新进展11月3日 13:00
正交性约束是否优于球面优化助益LLM预训练报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · ML正交性约束是否优于球面优化助益LLM预训练
研究表明，在360M至3.1B参数规模下，LLM预训练中的行正交性约束未能在球面优化基础上带来额外收益。 系统测试14种正交变体发现，对称正定因子仅在小模型有效，且下游准确率未区分不同参数化方法。 作者重新检验5项先前的正交性改进研究，发现其增益归因于数值精度或优化器实现，而非正交性本身。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 911月3日 17:00
- 近 24 小时变化
- –
02.557.510
17:0018:0019:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。