跳到正文
arXiv · NLP· John Sweeney·· 10 天前AI 评分31

面向 RMSNorm Transformer 的带符号置换坐标传输

Signed-Permutation Coordinate Transport for RMSNorm Transformers

AI 导读

文章指出 RMSNorm 图表的标架为带符号置换群 B_d,仅做置换对齐存在对称性缺失。 实验表明,忽略符号会导致权重更新误差增大,Qwen2.5-1.5B 在 B_d 传输下 SST-2 准确率保留 0.944,而 S_d 仅为 0.523。 该方法被 NeurIPS 2026 接收,验证了坐标名称仅在明确 B_d 标架下可复现。

来源:arXiv · NLP · arxiv.org