发布Grokking子空间结晶论文
热点事件观察中
发布Grokking子空间结晶论文
1 篇报道1 个报道来源1 天前更新
先了解这件事
报道摘要
研究显示神经网络在模块化算术任务中，有效秩的压缩是 grokking（顿悟）的特征而非原因。 Transformer 在 grokking 发生前900步出现最陡峭的秩下降，充分子空间占比从四分之一降至约十分之一。 强制低秩反而延迟或阻止 grokking，证实压缩仅为伴随现象。
摘自 arXiv · AI
最新进展10月27日 12:00
Grokking 中的子空间结晶：秩压缩追踪相变报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · AIGrokking 中的子空间结晶：秩压缩追踪相变
研究显示神经网络在模块化算术任务中，有效秩的压缩是 grokking（顿悟）的特征而非原因。 Transformer 在 grokking 发生前900步出现最陡峭的秩下降，充分子空间占比从四分之一降至约十分之一。 强制低秩反而延迟或阻止 grokking，证实压缩仅为伴随现象。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。