Grokking 中的子空间结晶：秩压缩追踪相变

研究显示神经网络在模块化算术任务中，有效秩的压缩是 grokking（顿悟）的特征而非原因。 Transformer 在 grokking 发生前900步出现最陡峭的秩下降，充分子空间占比从四分之一降至约十分之一。 强制低秩反而延迟或阻止 grokking，证实压缩仅为伴随现象。