arXiv · NLP· Piotr Wilam·· 11 天前AI 评分25
OpenCoder-1.5B 预训练中的表征漂移:行为稳定,承载神经元不固定
Representational drift in a code model: behaviour settles, which neurons carry it does not
AI 导读
OpenCoder-1.5B 在 2 万亿 token 预训练中表现出表征漂移:对于 16 个语法确定下一个 token 的 Python 结构,虽然损失在训练前 4% 内触底,但模型对承载神经元的依赖持续增长,且承载集在最后检查点仍在变化。移除 840 亿 token 时确定的承载集在训练结束时与随机集无法区分,而离开某结构承载集的神经元回归率是对比神经元的 3 倍,证明了预设定假说的错误。
来源:arXiv · NLP · arxiv.org