arXiv · ML· Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu·· 10 天前AI 评分35
Pion:一种基于正交等价变换的谱保持优化器
Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation
AI 导读
Pion 引入基于正交等价变换的谱保持优化器,通过左右正交变换更新权重矩阵并保持奇异值不变。 该优化器固定谱范数并调节几何结构,论文推导更新规则并分析收敛行为,实证结果显示其在 LLM 预训练和微调中表现稳定且具竞争力。 工作已发表于 NeurIPS 2026,v2 版本增加了基于 msign 的 Pion 及额外实验。
来源:arXiv · ML · arxiv.org