arXiv · NLP· Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang·· 10 天前AI 评分51
Smooth Scaling Laws Hide Stepwise Token Learning 揭示 token 级学习主导 scaling laws
Smooth Scaling Laws Hide Stepwise Token Learning
AI 导读
论文提出 token 级框架,将 LLM scaling laws 分解为单个 contextualized token 的局部学习事件,并用 sigmoid 拟合 token loss 轨迹。
来源:arXiv · NLP · arxiv.org